На этапе загрузки или обработки страниц поисковый робот может столкнуться с различными препятствиями, которые не позволяют ему проиндексировать документы. На сервисе Яндекс.Вебмастер есть раздел «Исключенные страницы» — там вы найдете подробную информацию о таких страницах и о причинах их исключения.
Наличие исключенных страниц на сайте — это нормальная ситуация, не всегда требующая исправления. Например, какие-то страницы на вашем сайте перестают существовать или вы сами запрещаете их индексирование в robots.txt. Но иногда проблемы возникают на стороне сервера или сайта, и это, как правило, приводит к нежелательному выпадению страниц из результатов поиска.
Не так давно мы обновили раздел «Исключенные страницы» и разделили все причины исключения на три группы:
Ошибки на стороне сервера или сайта
На эту группу стоит обратить внимание в первую очередь – в этом случае вам необходимо устранить причину возникновения этих ошибок.
Страницы запрещены к индексированию вебмастером или не существуют
Здесь, как правило, ничего исправлять не нужно. В этом разделе показывается информация об удаленных и более не существующих на сайте страницах, о страницах, запрещенных в robots.txt, неканонических страницах и т.д.
Не поддерживается роботом
Сюда попадают страницы с неподдерживаемым форматом, языком и т.п.
Такое разделение помогает понять, что необходимо исправить, а что исправлять не требуется. Если какая-то причина исключения конкретно для вашего сайта не является ошибкой, вы всегда можете самостоятельно внести изменения в разделе «Настройки», выбрав «Исключенные страницы». Смотрите также Справочник по ошибкам индексирования.
Кроме того, на графике в разделе «Общая информация о сайте» теперь показываются данные только о страницах из первой группы (которые были исключены по причине ошибок на стороне сервера или сайта), что помогает максимально быстро обнаружить проблему во взаимодействии вашего сайта с поисковой системой.
