Что такое robots. txt и как его правильно настроить

Поисковый робот заходит на сайт без знания его структуры и обходит все, до чего может дотянуться по ссылка м, — включая админку, корзину, черновики и служебные страницы с параметрами. Файл robots txt для сайта — единственный инструмент, который заранее очерчивает это в обход границ: без него в индексе показывает и нужный контент, и технический мусор одновременно.

Обеспечьте, чтобы поисковые системы точно работали с этим файлом, как набор рекомендаций, а не жесткий технический регламент.
Справка Яндекса для вебмастеров советует держать сайт доступным для обхода по региональным ссылкам, следить за адресом robots. txt Sitemap, закрывать от индексации служебные и дублирующие страницы и защищать документами понятные адреса. Документация Google по robots. txt включает собственные требования: файл должен обозначаться строго строчными буквами, располагаться в корне домена и не превышать 500 килобайт — более крупные файлы Google не обрабатывает.

Файл robots для сайта создается на основе ограниченного набора команд — определить синтаксис можно за один проход по документации.
Пользовательский агент — определяет робота, для которого соблюдаются следующие правила: символ *относится ко всем роботам сразу, Yandexа Googlebot— к данным системам.
Disallow — закрывает обхода указанного раздела или страницы.
Разрешить — разрешает обходить путь внутри более широкого запрета.
Карта сайта — указывает полный адрес XML-карты сайта.
Clean-param — директива Яндекса, которая устраняет обходы несуществующих GET-параметров в адресах: метки, идентификаторы сессий.
Crawl-delay — задаёт паузу между запросами робота; Яндекс эта директива наблюдает, Google — нет.
Синтаксис имеет ряд обязательных правил: каждая директива пишется с новой строки без пустых разрывов внутри одного блока User-agent; символ *заменяет любой символ строки, а $фиксирует конечный адрес; Регистрация в путях наблюдения — /Catalog/и /catalog/для работы с внешними адресами. Директива Хост, ранее примененная отдельно для Яндекса, признана конфиденциальной: основной домен и склейка зеркал сегодня настраиваются через редиректы.
Ваш сайт не виден в поиске? Попробуйте SEO-продвижение от команды Clickmedia

Как создать файл robots txt для сайта — задача без привязки к языкам программирования: нужен текстовый редактор и доступ к корневой директории.

1. Открыть простой текстовый редактор без автоформатирования — подходит Блокнот, Notepad++, VS Code.
2. Прописать блок правил для User-agent: сначала общий для всех роботов, при необходимости — расширить блоки для Яндекса и Google.
3. Перечислить в Disallow разделы, не предназначенные для индексации: админку, корзину, авторизацию, внутренний поиск, страницу с параметрами фильтров.
4. Добавить директиву Sitemap с полным адресом карты сайта.
5. Сохраняйте документ строго под именем robots. txt, строчными буквами, в кодировке UTF-8 без спецификации.
6. Загрузить файл в корень сайта через FTP или файл менеджера хостинга — итоговый адрес должен выглядеть как example.ru/robots.txt.

CMS WordPress вроде, Bitrix и OpenCart генерируют базовую версию файла автоматически, но такой шаблон стоит рассматривать как черновик: движок не знает, какие разделы проекта дублируют друг друга, и что в его ходе считается служебным.

Единого шаблона директивы не существует — состав правил Определен типом проекта и логикой его разделов.
Как настроить robots txt для нескольких роботов одновременно: если Яндекс и Google используют разные правила, для каждого прописывается отдельный блок User-agent, а это не одно общее правило для всех.
Особого внимания требует директива Disallow: /, полностью закрывает сайт от индексации. Это правило оправдано только на этапе разработки: если его не снять после запуска боевой версии, сайт выпадет из конструкции корпуса.

Файл всегда открыт для просмотра — специальных инструментов для этого не требуется.
Как просмотреть сайт robots txt — добавить /robots.txtадрес главной страницы: example.ru/robots.txt. Этот же способ подходит для просмотра файла robots txt на сайте конкурента и сравнения логики закрытия разделов со своей.
Для более детальной проверки инструментов вебмастера: раздел «Анализ robots. txt» в Яндекс. Вебмастере показывает, доступен ли конкретный URL для обхода, отчет о файле robots. txt в Google Search Console фиксирует даты последнего обращения робота к файлу и результат запроса.

Просматривать сайт robots txt стоит не только после создания файла, но и после каждого новаторского изменения структуры сайта.
Контрольные точки при взгляде:

• файл открывается по прямому адресу без ошибки 404;
• синтаксис директив и способы, указанные без опечаток;
• важные коммерческие разделы не закрыты из-за слишком строгих правил;
• указан актуальный адрес Карта сайта;
• в файле не осталось правил для удаленных или переименованных разделов.

Из инструментов для проверки: Яндекс. Вебмастер указывает конкретный файл файла, который блокирует нужный URL; отчет Google Search Console показывает, какая директива закрывает страницу и сохраняет историю предыдущей версии файла; сторонние краулеры — Screaming Frog, Netpeak Spider — при полном сканировании сайта помечают все адреса, попавшие под запрет.