Полуавтоматическое создание robots.txt на Битриксе v14
Приветствую, Друзья!
Сегодня я начинаю серию уроков по новинкам в только что вышедшей 14 версии 1С-Битрикс: Управление сайтом. И в первых уроках мы поговорим о множестве новинок в части SEO оптимизации сайта.
Из этого видеоурока Вы узнаете, как можно сделать файл robots.txt в полуавтоматическом режиме на 1С-Битрикс 14.
Я уже показывал, как в ручном режиме писать файл robots.txt, который отвечает за настройки индексации разных разделов и страниц сайта, показывает поисковым роботам, где лежит карта сайта и какой адрес является основным зеркалом.
Все это можно делать и сейчас «по старинке», а можно воспользоваться конструктором файла robots.txt от разработчиков Битрикса, который немного облегчает нам жизнь, тем более, что конструктор сам может создать стартовый набор правил, который подходит для всех сайтов на Битриксе и который сразу запретит индексацию кучи служебных ссылок.
Если Вы уже обломали зубы на файле robots.txt, что-то не получилось, то сейчас самое время посмотреть новый урок и не напрягаясь создать этот файл:
В следующих уроках я покажу как сейчас можно удобно и гибко создавать автоматически обновляемую карту сайта (а не зависимую от индексации сайта в поиске, как раньше), как легко зарегистрировать сайт в инструментах для веб-мастеров Google и Яндекс, как не терять авторство над своими текстами на сайте и какой классный сделал механизм Битрикс для автоматической генерации мета-данных страниц и разделов.
Ждите следующие посты на блоге!
На этом сегодня все! Не забываем жать на социальные кнопки слева и задавать свои вопросы чуть ниже в комментариях!
Если вам понравилась статья, то нажмите на одну из кнопок социальных сетей для размещения ссылки на страницу в своей ленте в этой соцсети.
Метки:SEO, Битрикс, видеоуроки, Доп для курса
Комментарии (26):
Руслан Халилов
| #
Здравствуйте Дмитрий.
Подскажите пожалуйста. Я ведь правильно понял. чтобы на время наполнения сайта закрыть его от прохождения поисковиков, надо просто во вкладке редактирования оставить следующее:
User-Agent: *
Disallow: /
и сохранить, и сайт полностью не будет индексироваться ?
А когда у меня все будет готово, я нажимаю на кнопку «Стартовый набор» и сохранить и у меня появляется базовый файл Роботс который позволяет поисковикам проводить индексацию?
Ответить
Дмитрий Акифьев
| #
Да, все верно. Это один из вариантов.
Еще простой вариант — закрыть сайт для просмотра всем, кроме администратора. Тогда и поисковый бот не будет ничего видеть, и обычные случайные посетители увидят страницу-заглушку. А Вы как админ будите все видеть и настраивать сайт как надо. Эта настройка в самом низу настроек Главного модуля.
Ответить
Руслан Халилов
| #
Дмитрий, спасибо за отличный совет.
это функция: Временное закрытие публичной части сайта, да?
Ответить
Дмитрий Акифьев
| #
Да, именно так.
Ответить
Павел
| #
Здравствуйте, Дмитрий!
Подскажите, пожалуйста, возможно ли запретить индексацию не активных страниц сайта, через robots.txt?
Заранее спасибо.
Ответить
Дмитрий Акифьев
| #
Конкретизируйте вопрос. Нужна какая-то автоматика? И что такое «не активные страницы»?
Ответить
Павел
| #
Здравствуйте, Дмитрий!
Страницы товаров с активностью -НЕТ, тоже индексируются яндексом и попадают в ошибочные страницы с кодом 404.
1. Можно их как то исключить из индексации?
2. Я правильно понимаю, что большое количество таких страниц негативно сказывается на индексации сайта?
Товар загружался с 1С и далеко не все с писанием и фото.
Заранее спасибо.
Ответить
Дмитрий Акифьев
| #
Не активные товары не могут индексироваться, так как они нигде в магазине не показываются и ссылок на них нигде нет. Может быть только вариант, что товары когда-то были активны и проиндексировались роботом, а потом были выключены, но в индексе остались. Исключить можно в инструментах для веб мастеров конкретной поисковой системы.
Если нужна какая-то тонкая или не стандартная настройка индексации, то ищите подходящее расширение на Маркетплейсе Битрикса в этом разделе
Ответить
Дмитрий
| #
Что же это за стартовый набор директив, где исключаются все страницы index.php.
Disallow: */index.php
Ответить
Дмитрий
| #
разобрался, спасибо — это запрет дубля главной страницы
Ответить
Дмитрий
| #
Или для этого случая, запрет дубля главной, правильнее было б так?
Disallow: /*index.php$
Ответить
Дмитрий Акифьев
| #
Дирекива стартового набора Disallow: */index.php убирает все дубли индексных страниц разделов, даже если после них идут какие-то параметры, которые на вид страницы не влияют (у Вас они могут влиять на вид, и тогда такие варианты надо прорабатывать в robots.txt отдельно, на то он и стартовый набор). Чтобы не индексировалась одна и та же страница по слешу на конце адреса и но index.php после этого слеша. Сам движок понимает, что если на конце адреса слеш, то надо показать index.php из этого раздела, хотя в адресную строку имя файла не добавляет.
Ваш вариант Disallow: /*index.php$ может работать, если у вас не принято делать файлы типа /core-index.php, которые не являются индексными страницами раздела, но будут исключены из индексирования, так как попадут под шаблон.
Ответить
Дмитрий
| #
Я так понимаю, что директивы:
Disallow: */index.php
Disallow: /*index.php$
по своей сути абсолютно одинаковы, так?
Ответить
Дмитрий Акифьев
| #
Нет, они абсолютно разные. Читайте мой ответ выше, он немного подкорректирован.
Ответить
Дмитрий
| #
Понял, спасибо, у нас нет страниц, которые имеют в своем названии «index». В этом случае обе директивы сработают одинаково.
Ответить
Дмитрий
| #
но, директива *.php и *.php$ это то же самое ведь.
Ответить
Дмитрий Акифьев
| #
Нет, не одно и то же. Вы хоть немного про шаблоны читали?
Если на конце стоит $, то значит строка должна кончаться на .php, только тогда она попадет под шаблон, если в конце строки еще пойдут параметры типа index.php?a=1&b=2, то такая строка уже не попадет под шаблон и не будет исключена из индексирования.
Ответить
Дмитрий
| #
Читал, но видимо не до конца разобрался. показалось, что если директива оканчивается конкретно расширением файла, то она включает все варианты. С этим, с Вашей помощью разобрался! Тогда получается что директива для папки */about/ и */about это одинаковые директивы?
Ответить
Дмитрий Акифьев
| #
Я больше не буду писать Вам ответы на вопросы, которые есть в «документации для новичков» по SEO. Ищите как работать с шаблонами самостоятельно. Я Вам все варианты шаблонов разжевывать не буду, у меня другой работы хватает.
Если есть вопросы по Битриксу — пишите, будете писать вопросы по SEO, они не будут одобрены далее.
Ответить
Дмитрий
| #
А как быть к примеру со стандартными файлами в разделах .access.php, .section.php? Их убирать из индексации?
Ответить
Дмитрий Акифьев
| #
Настраивайте индексацию по своему желанию. Надо индексировать в поисковике, открываете файл или раздел. Не надо — запрещаете в robots.txt. Если сами не понимаете что делаете, то лучше отдайте эту работу в руки специалиста по SEO.
Сразу предупрежу, я не специалист по SEO, я в своих видеоуроках показываю возможности Битрикса, я специалист по Битриксу. Поэтому Вам лучше какие-то тонкости искать на специализированных форумах по SEO.
Ответить
Константин
| #
Добрый день, Дмитрий. Спасибо за полезный урок. У меня Яндекс и Гугол индексируют страницу вот с такой штукой «/?preview=Y». Подскажите пожалуйста как убрать из индекса такие страницы. Заранее спасибо.
Ответить
Дмитрий Акифьев
| #
Я не большой спец по SEO, так, знаю основы и показываю возможности встроенные в CMS. Я больше по Битриксу, программированию и т.п. Как убрать такие ссылки из индекса спрашивайте на специализированных форумах типа searchengines.guru
Ответить
AL
| #
Спасибо
Ответить
Сергей
| #
Спасибо, полезная серия про СЕО и для меня очень актуальная, когда новые уроки будут?
Ответить
Дмитрий Акифьев
| #
Новые уроки выходят по субботам. Если надо раньше, то смотрите на моем канале на YouTube, там примерно на 5-7 дней раньше уроки выкладываются: мой канал
Ответить