Как проверить статус URL в Яндекс Вебмастере

Чтобы понять, как проверить статус URL в Яндекс Вебмастере, начните с «Проверки страницы»: она показывает доступ робота и код ответа сервера.

Три состояния одного URL, которые часто путают

Доступность для робота, ответ сервера сейчас и участие в поиске — разные проверки с разными результатами. Адрес может отдавать 200 OK и при этом быть закрытым метатегом noindex. Может быть открыт для обхода, но исключён из выдачи по другим причинам. Может уже участвовать в поиске, а сервер в момент проверки отвечает ошибкой.

Разделение простое: сначала узнаёте технический доступ, потом код ответа на текущий момент, потом факт участия в выдаче. Каждый следующий вывод опирается на предыдущий, но не заменяет его.

Проверка страницы: код ответа и статус в поиске

Инструмент Индексирование → Проверка страницы показывает, какой код ответа получает робот от страницы, как выглядит контент для робота, статус страницы и адаптацию под мобильные устройства (^[1]). Указываете URL и тип устройства. В списке роботов выбираете того, чей доступ вас интересует: после выбора под полем появится его User-agent (^[1]).

Код ответа — точка, где чаще всего и возникает путаница. Если код отличается от 200 OK, страница может быть исключена из поиска (^[1]). Код описывает ответ сервера на запрос. Код 301 означает перенаправление, а 404 Not Found — недоступность страницы по этому адресу (^[2]). Участие адреса в поиске проверьте отдельно.

Что проверяем    | Где смотрим           | Что видим
Код ответа сейчас   | Проверка страницы → код ответа  | 200 OK / 301 / 404
Доступ робота     | Проверка страницы → робот    | User-agent и содержимое
Участие в поиске   | Страницы в поиске        | добавлена / исключена
Закрытие директивами | Анализ индексации страницы    | robots.txt / метатег robots
Дата обхода      | Страницы в поиске        | дата последнего посещения

Отдельно есть поле If-Modified-Since с датой и временем. Оно проверяет ответ сервера на заголовок: если указать дату последнего обновления страницы, ожидается 200 OK; если другую дату — 304 Not Modified (^[1]). Помогает понять, отвечает ли сервер корректно на условные запросы, а не только отдаёт страницу.

Анализ индексации: закрыт ли адрес для роботов

Инструменты → Анализ индексации страницы проверяет, не закрыта ли страница от роботов Яндекса (^[3]). Инструмент смотрит две настройки: директивы в файле robots.txt и значение метатега robots в <head> HTML-кода. Если в robots.txt стоит Disallow для директории, где лежит страница, она не будет индексироваться. Если метатег содержит noindex, страница закрыта от обхода.

Проверить можно страницы любого сайта и приложения. Добавлять сайт в Вебмастер не обязательно; без авторизации перед проверкой появится капча (^[3]). Это удобно, когда нужно оценить чужой ресурс, но свои директивы всё равно придётся править на своём сервере.

Здесь кроется важная граница. Если страница доступна для индексирования роботами, это не означает, что она участвует в поиске: её могут обходить, но исключить из выдачи (^[3]). После результата «доступна для индексирования» отдельно проверьте участие адреса в поиске.

Страницы в поиске: участие, дата обхода и причина исключения

Индексирование → Страницы в поиске отвечает на вопросы о том, что фактически происходит с адресом в выдаче (^[2]). Здесь есть данные о дате последнего посещения сайта роботом, об источнике добавления страницы в выдачу и о причине исключения (^[2]).

Список участвующих в поиске страниц переключателем Все страницы показывает по каждой дату последнего посещения роботом, адрес относительно корня и заголовок title (^[2]). В режиме Исключённые страницы указаны дата последнего посещения роботом, адрес относительно корня и статус — причина исключения (^[2]).

Дата последнего посещения — самый полезный вход для нашей задачи: она подтверждает, что робот был на странице, независимо от того, добавили её в выдачу или нет. Сведения об источнике сигнала обновляются независимо от поисковой базы и состояния страниц в поиске (^[2]). Это стоит держать в голове, когда кажется, что интерфейс «завис».

Задержка данных и порядок действий при закрытой странице

Данные приходят с задержкой. Если страницы были проиндексированы и включены в поиск сразу после публикации, информация в Вебмастере может обновиться в течение нескольких дней (^[2]). Резкое изменение количества страниц может быть связано со сменой структуры сайта или правкой robots.txt (^[2]).

Отсюда практическое правило: не делать вывод по одному свежему снимку в день публикации. Сверить дату обхода и дату последнего обновления данных, дать интерфейсу несколько дней.

Если Анализ индексации показал, что страница закрыта, порядок действий зависит от того, чей это ресурс. Для своего сайта причину в robots.txt (директива Disallow на путь страницы) правят в файле в корневой папке; причину в метатеге robots (значение noindex) — в разделе <head> HTML-кода (^[3]).

Для стороннего ресурса инструмент даёт результат, который можно отправить владельцу площадки. Открыть контент для индексирования может только владелец сайта, канала или группы; изменить настройки публикации больше не может никто (^[3]). Своих директив чужой ошибкой не исправить.

Учебный пример: диагностическая карточка URL

Данные для примера — синтетический снимок: учебный URL https://example.com/blog/plan, HTTP 200 сейчас, обход 5 дней назад, адрес ещё не в поиске.

Поле           | Значение
URL           | https://example.com/blog/plan
Код ответа (сейчас)   | 200 OK
Дата обхода роботом   | 5 дней назад
Участие в поиске     | не найдено
robots.txt / метатег   | пока не проверены

Заполняем карточку.

По снимку известны текущий ответ сервера, дата обхода и отсутствие адреса в поиске. Настройки robots.txt и метатега robots ещё нужно проверить. По этим данным нельзя определить срок появления страницы в выдаче.

Что делать с результатом

Прогон по трём инструментам даёт разделённую картину: технический доступ, ответ сервера сейчас и факт участия в выдаче. Для вашего сайта после правки директив стоит сверить адрес с каноническими правилами и убедиться, что сайт добавлен в Вебмастер, чтобы видеть данные по разделу. После изменений снова проверьте доступность адреса и дату последнего посещения роботом.