Полуавтоматическое создание robots.txt на Битриксе v14

Автор: Дмитрий Акифьев. Размещено в: 1С-Битрикс

robots.txt в Битрикс 14

Приветствую, Друзья!

Сегодня я начинаю серию уроков по новинкам в только что вышедшей 14 версии 1С-Битрикс: Управление сайтом. И в первых уроках мы поговорим о множестве новинок в части SEO оптимизации сайта.

Из этого видеоурока Вы узнаете, как можно сделать файл robots.txt в полуавтоматическом режиме на 1С-Битрикс 14.

Я уже показывал, как в ручном режиме писать файл robots.txt, который отвечает за настройки индексации разных разделов и страниц сайта, показывает поисковым роботам, где лежит карта сайта и какой адрес является основным зеркалом.

Все это можно делать и сейчас «по старинке», а можно воспользоваться конструктором файла robots.txt от разработчиков Битрикса, который немного облегчает нам жизнь, тем более, что конструктор сам может создать стартовый набор правил, который подходит для всех сайтов на Битриксе и который сразу запретит индексацию кучи служебных ссылок.

Если Вы уже обломали зубы на файле robots.txt, что-то не получилось, то сейчас самое время посмотреть новый урок и не напрягаясь создать этот файл:

В следующих уроках я покажу как сейчас можно удобно и гибко создавать автоматически обновляемую карту сайта (а не зависимую от индексации сайта в поиске, как раньше), как легко зарегистрировать сайт в инструментах для веб-мастеров Google и Яндекс, как не терять авторство над своими текстами на сайте и какой классный сделал механизм Битрикс для автоматической генерации мета-данных страниц и разделов.

Ждите следующие посты на блоге!

На этом сегодня все! Не забываем жать на социальные кнопки слева и задавать свои вопросы чуть ниже в комментариях!

 
Стрела влево

Если вам понравилась статья, то нажмите на одну из кнопок социальных сетей для размещения ссылки на страницу в своей ленте в этой соцсети.

 

Метки:, , ,

 

Комментарии (26):

  • Руслан Халилов

    |

    Здравствуйте Дмитрий.

    Подскажите пожалуйста. Я ведь правильно понял. чтобы на время наполнения сайта закрыть его от прохождения поисковиков, надо просто во вкладке редактирования оставить следующее:

    User-Agent: *

    Disallow: /

    и сохранить, и сайт полностью не будет индексироваться ?

    А когда у меня все будет готово, я нажимаю на кнопку «Стартовый набор» и сохранить и у меня появляется базовый файл Роботс который позволяет поисковикам проводить индексацию?

    Ответить

    • Дмитрий Акифьев

      |

      Да, все верно. Это один из вариантов.

      Еще простой вариант — закрыть сайт для просмотра всем, кроме администратора. Тогда и поисковый бот не будет ничего видеть, и обычные случайные посетители увидят страницу-заглушку. А Вы как админ будите все видеть и настраивать сайт как надо. Эта настройка в самом низу настроек Главного модуля.

      Ответить

      • Руслан Халилов

        |

        Дмитрий, спасибо за отличный совет.

        это функция: Временное закрытие публичной части сайта, да?

        Ответить

  • Павел

    |

    Здравствуйте, Дмитрий!

    Подскажите, пожалуйста, возможно ли запретить индексацию не активных страниц сайта, через robots.txt?

    Заранее спасибо.

    Ответить

    • Дмитрий Акифьев

      |

      Конкретизируйте вопрос. Нужна какая-то автоматика? И что такое «не активные страницы»?

      Ответить

      • Павел

        |

        Здравствуйте, Дмитрий!

        Страницы товаров с активностью -НЕТ, тоже индексируются яндексом и попадают в ошибочные страницы с кодом 404.

        1. Можно их как то исключить из индексации?

        2. Я правильно понимаю, что большое количество таких страниц негативно сказывается на индексации сайта?

        Товар загружался с 1С и далеко не все с писанием и фото.

        Заранее спасибо.

        Ответить

        • Дмитрий Акифьев

          |

          Не активные товары не могут индексироваться, так как они нигде в магазине не показываются и ссылок на них нигде нет. Может быть только вариант, что товары когда-то были активны и проиндексировались роботом, а потом были выключены, но в индексе остались. Исключить можно в инструментах для веб мастеров конкретной поисковой системы.

          Если нужна какая-то тонкая или не стандартная настройка индексации, то ищите подходящее расширение на Маркетплейсе Битрикса в этом разделе

          Ответить

  • Дмитрий

    |

    Что же это за стартовый набор директив, где исключаются все страницы index.php.

    Disallow: */index.php

    Ответить

    • Дмитрий

      |

      разобрался, спасибо — это запрет дубля главной страницы

      Ответить

    • Дмитрий

      |

      Или для этого случая, запрет дубля главной, правильнее было б так?

      Disallow: /*index.php$

      Ответить

      • Дмитрий Акифьев

        |

        Дирекива стартового набора Disallow: */index.php убирает все дубли индексных страниц разделов, даже если после них идут какие-то параметры, которые на вид страницы не влияют (у Вас они могут влиять на вид, и тогда такие варианты надо прорабатывать в robots.txt отдельно, на то он и стартовый набор). Чтобы не индексировалась одна и та же страница по слешу на конце адреса и но index.php после этого слеша. Сам движок понимает, что если на конце адреса слеш, то надо показать index.php из этого раздела, хотя в адресную строку имя файла не добавляет.

        Ваш вариант Disallow: /*index.php$ может работать, если у вас не принято делать файлы типа /core-index.php, которые не являются индексными страницами раздела, но будут исключены из индексирования, так как попадут под шаблон.

        Ответить

        • Дмитрий

          |

          Я так понимаю, что директивы:

          Disallow: */index.php

          Disallow: /*index.php$

          по своей сути абсолютно одинаковы, так?

          Ответить

          • Дмитрий Акифьев

            |

            Нет, они абсолютно разные. Читайте мой ответ выше, он немного подкорректирован.

            Ответить

          • Дмитрий

            |

            Понял, спасибо, у нас нет страниц, которые имеют в своем названии «index». В этом случае обе директивы сработают одинаково.

            Ответить

          • Дмитрий

            |

            но, директива *.php и *.php$ это то же самое ведь.

            Ответить

          • Дмитрий Акифьев

            |

            Нет, не одно и то же. Вы хоть немного про шаблоны читали?

            Если на конце стоит $, то значит строка должна кончаться на .php, только тогда она попадет под шаблон, если в конце строки еще пойдут параметры типа index.php?a=1&b=2, то такая строка уже не попадет под шаблон и не будет исключена из индексирования.

            Ответить

          • Дмитрий

            |

            Читал, но видимо не до конца разобрался. показалось, что если директива оканчивается конкретно расширением файла, то она включает все варианты. С этим, с Вашей помощью разобрался! Тогда получается что директива для папки */about/ и */about это одинаковые директивы?

            Ответить

          • Дмитрий Акифьев

            |

            Я больше не буду писать Вам ответы на вопросы, которые есть в «документации для новичков» по SEO. Ищите как работать с шаблонами самостоятельно. Я Вам все варианты шаблонов разжевывать не буду, у меня другой работы хватает.

            Если есть вопросы по Битриксу — пишите, будете писать вопросы по SEO, они не будут одобрены далее.

            Ответить

        • Дмитрий

          |

          А как быть к примеру со стандартными файлами в разделах .access.php, .section.php? Их убирать из индексации?

          Ответить

          • Дмитрий Акифьев

            |

            Настраивайте индексацию по своему желанию. Надо индексировать в поисковике, открываете файл или раздел. Не надо — запрещаете в robots.txt. Если сами не понимаете что делаете, то лучше отдайте эту работу в руки специалиста по SEO.

            Сразу предупрежу, я не специалист по SEO, я в своих видеоуроках показываю возможности Битрикса, я специалист по Битриксу. Поэтому Вам лучше какие-то тонкости искать на специализированных форумах по SEO.

            Ответить

  • Константин

    |

    Добрый день, Дмитрий. Спасибо за полезный урок. У меня Яндекс и Гугол индексируют страницу вот с такой штукой «/?preview=Y». Подскажите пожалуйста как убрать из индекса такие страницы. Заранее спасибо.

    Ответить

    • Дмитрий Акифьев

      |

      Я не большой спец по SEO, так, знаю основы и показываю возможности встроенные в CMS. Я больше по Битриксу, программированию и т.п. Как убрать такие ссылки из индекса спрашивайте на специализированных форумах типа searchengines.guru

      Ответить

  • Сергей

    |

    Спасибо, полезная серия про СЕО и для меня очень актуальная, когда новые уроки будут?

    Ответить

    • Дмитрий Акифьев

      |

      Новые уроки выходят по субботам. Если надо раньше, то смотрите на моем канале на YouTube, там примерно на 5-7 дней раньше уроки выкладываются: мой канал

      Ответить

Написать комментарий