Запрет поисковой индексации через robots.txt

Автор: Дмитрий Акифьев. Размещено в: 1С-Битрикс

robots.txt

Приветствую, Друзья!

Из этого видеоурока Вы узнаете, зачем нужен файл robots.txt, как его правильно заполнять чтобы поисковые машины заносили в свой поисковый индекс только нужные нам страницы сайта.

В двух предыдущих уроках мы рассмотрели как сделать правильную карту сайта для нашего интернет-магазина на 1С-Битрикс, как ее подключить к Гуглу и Яндексу. Таким образом мы проинформировали поисковые машины, что появился новый сайт и надо побыстрее добавить его в поисковый индекс.

Но, поисковики индексируют не только ссылки из карты сайта, они при индексации страниц еще и анализируют все ссылки на страницах и тоже пытаются их индексировать, если нет прямого запрета на это. И где может быть такой запрет? Для этого есть 3 инструмента:

  1. Запрет индексации в файле robots.txt
  2. Запрет индексации всей страницы в мета-теге ROBOTS
  3. Запрет индексации какой-то конкретной ссылки если добавить ей атрибут REL


Вот первые 2 варианта мы подробнейшим образом разберем в сегодняшнем видеоуроке.
Почему подробнейше? Потому что, мы рассмотрим все нужные директивы файла robots.txt (как стандартные, так и из расширенной спецификации), какие есть обязательные условия для файла robots.txt, какие ошибки самые распространенные при написании этого файла и как показать поисковому роботу где лежит карта сайта. И еще мы посмотрим, как легко изменять мета-тег robots на любой странице на сайте под управлением 1С-Битрикс.

Если Вы уже начали заниматься SEO для своего сайта, то Вам точно пригодится этот видеоурок:

На этом сегодня все! Не забываем жать на социальные кнопки слева и задавать свои вопросы чуть ниже в комментариях!

 
Стрела влево

Если вам понравилась статья, то нажмите на одну из кнопок социальных сетей для размещения ссылки на страницу в своей ленте в этой соцсети.

 

Метки:, ,

 

Комментарии (6):

  • Константин

    |

    Для данной страницы [вырезано] нужно прописать чтобы роботы не переходили по ссылкам.

    Ответить

    • Дмитрий Акифьев

      |

      Для динамических страниц в настройках SEO нельзя менять мета-тег robots. Можно сделать свое свойство у инфоблока, но тогда по нему нужно будет дорабатывать код шаблона отображения страницы. Стандартными (типовыми) механизмами не сделать.

      Ответить

  • Константин

    |

    Добрый день!

    Проблемы с СМС БИТРИКС Заголовок и свойство страниц. ROBOTS,

    добавил данное свойство, (index и noindex) при меняется ко всем страницам инфоблока, а как сделать чтобы применялось к конкретной странице?

    Ответить

    • Дмитрий Акифьев

      |

      Вообще не понял вопрос.

      Напишите конкретнее что хотите и что сделали. Сейчас вопрос выглядит как полный бред. Что такое СМС? При чем тут Robots? Куда добавили и какое свойство и при чем тут тег noindex? Намешано все в одну кучу.

      Ответить

Написать комментарий