Инструмент «Анализ robots.txt» в Яндекс Вебмастере показывает, как робот Яндекса читает ваш файл: синтаксис, противоречия в директивах и доступ к отдельным адресам. Учебный файл можно проверить в инструменте и сверить статусы без правок на рабочем сайте.
Открыть Анализ robots.txt: два сценария входа
Сайт добавлен в Яндекс Вебмастер. В основном меню слева выберите нужный сайт (если подтверждён только один, он откроется по умолчанию), затем перейдите в Инструменты → Анализ robots.txt. Содержимое файла подтянется со страницы, проверка запустится автоматически [1].
Сайт не добавлен. В Яндекс Вебмастере перейдите на страницу Анализ robots.txt. Укажите адрес сайта в поле Адрес сайта, например https://example.com, и нажмите значок проверки — содержимое и результаты анализа появятся ниже [1].
Если сайта под рукой нет, во вторую область (под полем адреса) вставьте текст файла вручную и нажмите Проверить. Полученный код потом копируете в robots.txt.
Прежде чем править директивы, стоит развести две разные задачи. Запрет обхода в robots.txt и удаление страницы из поиска — не одно и то же: ограниченные в robots.txt страницы могут участвовать в поиске Яндекса, а чтобы убрать их из выдачи, нужна директива noindex в HTML-коде страницы или HTTP-заголовок [2]. Поэтому не закрывайте в robots.txt те страницы, которые хотите вывести из поиска: робот должен их обойти, чтобы увидеть ваши указания [2].
Разобрать отчёт: правила обхода и ошибки
Отчёт появляется в блоке Результаты анализа robots.txt и состоит из двух вкладок [1]:
- Правила обхода — все директивы, которые учитывают роботы Яндекса при индексировании. Здесь смотрите, что реально применяется к сайту.
- Ошибки — строки, секции или файл целиком, которые инструмент не смог обработать [1].
Разбор идёт по двум наборам правил. В секциях User-agent: Yandex или User-agent: * директивы проверяются с учётом правил Яндекса, остальные секции — по стандарту исключений для роботов [1]. Практический вывод: если у вас есть блоки для Googlebot и других роботов, не удивляйтесь, что поведение там оценивается по общей спецификации.
Нашли ошибку — правьте код прямо в поле с файлом и снова нажимайте Проверить. Когда ошибок нет и правила отображаются корректно, копируйте полученный код в robots.txt [1].
Проверить три учебных URL в блоке «Доступ к страницам»
Учебный пример.
Возьмём файл с базовым набором директив:
User-agent: *
Disallow: /admin/
Allow: /
Sitemap: https://example.com/sitemap.xml
Проверим три адреса: главную /, статью /blog/plan и служебную /admin/report. Порядок действий: под результатами анализа откройте блок Доступ к страницам, в поле Список страниц добавьте адреса (можно полный URL или путь от корня, например /page/), нажмите Проверить [1].
Ожидаемая картина для этого файла:
| URL | Ожидаемый статус | Почему |
|---|---|---|
/ |
Страница открыта для индексирования |
Разрешено правилом Allow: / |
/blog/plan |
Страница открыта для индексирования |
Подпадает под Allow: / |
/admin/report |
Страница недоступна для индексирования |
Подпадает под Disallow: /admin/ |
Доступные статусы в блоке — три: страница открыта для индексирования, страница недоступна для индексирования, не удалось провести полную проверку (например, страница не загружается, ведёт на другой адрес или отвечает ошибкой) [1].
Если факт разошёлся с ожиданием
Одна строка на каждый случай:
- Пришло «не удалось провести полную проверку» — проверьте, загружается ли страница, нет ли перенаправления или ошибки ответа; после устранения найденной причины повторите проверку.
/admin/reportвнезапно открыт — ищите конфликт директив: при одинаковой длине префикса приоритет отдаётсяAllow, а директивы сортируются по длине префикса URL [3]./blog/planвнезапно закрыт — проверьте совпадающие правила в применяемом блоке User-agent: выбирается самый длинный префикс URL, а при равной длине приоритет уAllow; порядок строк в файле не влияет на результат [3].
Требования к файлу и отслеживание изменений
Роботы Яндекса корректно обрабатывают robots.txt при четырёх условиях: размер не превышает 500 КБ, это TXT-файл с именем robots.txt, он лежит в корневом каталоге сайта и доступен для роботов — сервер отвечает кодом 200 OK, либо файл перенаправляет на другой robots.txt с кодом 200 OK [2]. Если файл не соответствует требованиям, сайт считается открытым для индексирования.
Вебмастер регулярно проверяет обновления файла и сохраняет версии с датой и временем. Если информация об изменениях есть, на странице Инструменты → Анализ robots.txt доступен список версий за последние 6 месяцев, максимум — 100 сохранённых версий [1]. При выборе версии в списке Версия robots.txt отображаются её содержимое и результаты проверки [1]. Чтобы получать сообщения об изменениях файла, настройте уведомления [1].
Типичные ошибки: чужой домен и редирект на robots.txt
«Этот URL не принадлежит вашему домену». Возможная причина — в списке указан неглавный адрес сайта: http://example.com вместо http://www.example.com — для системы это разные URL [1]. Проверьте, что адреса принадлежат именно тому сайту, для которого анализируете файл, и приведите проверяемые URL к главному зеркалу.
«Сервер отвечает редиректом на запрос /robots.txt». Если файл перенаправляет на другой robots.txt, Яндекс учитывает директивы из файла-цели, и это нормально при переезде сайта [2]. Но чтобы файл учитывался, он должен лежать в корне и отвечать кодом 200. Проверьте, что цель перенаправления содержит верные директивы: для этого добавьте сайт-цель в Вебмастер и подтвердите права [2]. Доступность самого файла проверьте инструментом ответа сервера [2].
Дальше по цепочке технических настроек пригодятся разбор канонических адресов и инструкция, как добавить сайт в Яндекс Вебмастер.
Источники
- Анализ robots.txtyandex.ru
- Использование файла robots.txtyandex.ru
- Директивы Disallow и Allowyandex.ru
Автор метода «Машиночитаемый маркетинг»