Запрет поисковой индексации через robots.txt
Приветствую, Друзья!
Из этого видеоурока Вы узнаете, зачем нужен файл robots.txt, как его правильно заполнять чтобы поисковые машины заносили в свой поисковый индекс только нужные нам страницы сайта.
В двух предыдущих уроках мы рассмотрели как сделать правильную карту сайта для нашего интернет-магазина на 1С-Битрикс, как ее подключить к Гуглу и Яндексу. Таким образом мы проинформировали поисковые машины, что появился новый сайт и надо побыстрее добавить его в поисковый индекс.
Но, поисковики индексируют не только ссылки из карты сайта, они при индексации страниц еще и анализируют все ссылки на страницах и тоже пытаются их индексировать, если нет прямого запрета на это. И где может быть такой запрет? Для этого есть 3 инструмента:
- Запрет индексации в файле robots.txt
- Запрет индексации всей страницы в мета-теге ROBOTS
- Запрет индексации какой-то конкретной ссылки если добавить ей атрибут REL
Вот первые 2 варианта мы подробнейшим образом разберем в сегодняшнем видеоуроке.
Почему подробнейше? Потому что, мы рассмотрим все нужные директивы файла robots.txt (как стандартные, так и из расширенной спецификации), какие есть обязательные условия для файла robots.txt, какие ошибки самые распространенные при написании этого файла и как показать поисковому роботу где лежит карта сайта. И еще мы посмотрим, как легко изменять мета-тег robots на любой странице на сайте под управлением 1С-Битрикс.
Если Вы уже начали заниматься SEO для своего сайта, то Вам точно пригодится этот видеоурок:
На этом сегодня все! Не забываем жать на социальные кнопки слева и задавать свои вопросы чуть ниже в комментариях!
Если вам понравилась статья, то нажмите на одну из кнопок социальных сетей для размещения ссылки на страницу в своей ленте в этой соцсети.
Метки:SEO, Битрикс, видеоуроки
Комментарии (6):
Константин
| #
Для данной страницы [вырезано] нужно прописать чтобы роботы не переходили по ссылкам.
Ответить
Дмитрий Акифьев
| #
Для динамических страниц в настройках SEO нельзя менять мета-тег robots. Можно сделать свое свойство у инфоблока, но тогда по нему нужно будет дорабатывать код шаблона отображения страницы. Стандартными (типовыми) механизмами не сделать.
Ответить
Константин
| #
А вы может помочь в этом вопросе, естественно не бесплатно? У меня на сайте из-за этого 200 страниц дублей.
Ответить
Дмитрий Акифьев
| #
Есть определенные ограничения на работу, которую я беру, почитайте их здесь:
site-crafter.ru/freelance...ovia/notuse.html
Ответить
Константин
| #
Добрый день!
Проблемы с СМС БИТРИКС Заголовок и свойство страниц. ROBOTS,
добавил данное свойство, (index и noindex) при меняется ко всем страницам инфоблока, а как сделать чтобы применялось к конкретной странице?
Ответить
Дмитрий Акифьев
| #
Вообще не понял вопрос.
Напишите конкретнее что хотите и что сделали. Сейчас вопрос выглядит как полный бред. Что такое СМС? При чем тут Robots? Куда добавили и какое свойство и при чем тут тег noindex? Намешано все в одну кучу.
Ответить