При обходе практически каждого сайта часть страниц не индексируется роботом. Причины могут быть разными: ошибки соединения, редиректы, запрет на обход в файле robots.txt и т.п.
Во многих случаях нельзя однозначно определить, хотел вебмастер, чтобы страница не попала в индекс или нет. Поэтому в Яндекс.Вебмастере мы предупреждаем обо всех случаях, когда страница не загружается роботом. Нередко это приводит к тому, что реальные ошибки обхода, на которые нужно обратить внимание, тонут в огромном числе подобных предупреждений.
Теперь можно самостоятельно задавать, как должны показываться разные типы предупреждений, например:
- ошибка (показывать красным цветом)
- замечание (возможно ошибка, показывать жёлтым цветом)
- информация (не ошибка, показывать синим цветом)
- не показывать (не ошибка, игнорировать)
Чтобы воспользоваться функцией, зайдите в "Настройки" (ссылка в верхней части страницы сервиса).
И пусть робот найдёт всё!