Блог Яндекса для вебмастеров

Нет доступа: код ответа 4ХХ

Около 50 000 сайтов уже получили от Вебмастера оповещения, которые помогают заметить возможную проблему на сайте, — об ответе некоторых страниц кодом 4XX. Коды ответа 4ХХ означают, что контент сайта недоступен для робота и, соответственно, через некоторое время пропадет из поисковой выдачи.   

Как посмотреть примеры страниц с кодами статусов 4XX 

В Яндекс Вебмастере есть уведомление, благодаря которому можно будет вовремя узнать о росте количества страниц с кодами 4ХХ и посмотреть их список в сервисе. Если вы подписаны на уведомления от Вебмастера, то оповещение поступит вам на указанный почтовый адрес. В любом случае, посмотреть сообщение об ошибке можно в Вебмастере. Для этого: 

1.    Перейдите в Вебмастер в раздел Диагностика

2.    Найдите алерт «Некоторые страницы сайта отвечают HTTP-кодом 4хх». 

3.    Нажмите на ссылку «Посмотреть примеры страниц» — откроется список список с такими кодами. 

Если такого уведомления нет, то Вебмастер не диагностировал проблем с ошибками 4ХХ. 

Если вы обнаружили, что статус некоторых ваших страниц — 4ХХ, найдите и исправьте возникшие ошибки, чтобы робот продолжил индексирование. Если вы действительно недавно удалили достаточно большое количество страниц с вашего сайта, пропустите это сообщение. Но если такое произошло неожиданно и без видимых причин, то оповещение поможет вовремя заметить ошибку или техническую проблему.  

Возможные причины кода ответа 4ХХ

  1. Страница удалена (специально или по ошибке).
  2. Возникла ошибка в адресе при размещении ссылки.
  3. Доступ к странице заблокирован. 

Рекомендации 

В зависимости от типа страницы есть несколько способов исправления ошибки.

В случае важных страниц с необходимым в поиске контентом:

  • Обратитесь к хостинг-провайдеру и разработчику сайта.
  • Проверьте настройки сервера на предмет блокировок робота, уточнить их у хостинг-провайдера или в службе поддержки используемого движка.
  • Изучите логи обращений к сайту и поищите запросы с User-Agent робота Яндекса. 

В случае намеренно удаленных страниц:

  • Настройте перенаправление с удаленных страниц на нужные с помощью кодов 3ХХ, чтобы у пользователей сохранился доступ к важному контенту.
  • Запретите обход ненужных страниц в robots.txt директивой Disallow.
  • Проверьте черный список сайта и IP, так как запросы робота Яндекса могли быть заблокированы по IP, а инструмент проверки сервера не всегда может показать такую проблему.
  • Правильно оформите страницу с ошибкой 4ХХ, сообщите пользователям, что контент по данному адресу отсутствует и предложите перейти к другим разделам сайта.

В случае страниц, которые никогда не существовали на сайте: 

  • Убедитесь в том, что на вашем сайте нет ошибок в адресах ссылок. 
  • Если исправление технических ошибок не помогло, запретите обход ненужных страниц в robots.txt директивой Disallow. 

Подробнее об этих и других HTTP-статусах можно прочитать в Справке

44 комментария
У меня теперь каждые 15 минут отваливается фид из - Источники данных о товарах и предложениях. \
Хотя все нормально...

platon
Сотрудник Яндекса5 сентября 2022, 18:21
Babyart.ru,
здесь необходимо разобраться детально. Пожалуйста, напишите нам через форму обратной связи.
Обновлено 8 сентября 2022, 18:43
Если страница целенаправленно удалена в связи с неактуальностью (новость 5-7-летней давности), смысл сигнализировать, присылать уведомления? Или прям желательно прописывать редиректы? а не будет подозрений если для 10% (от всего количество страниц) удаленных страниц статус не 404, а 301. и непонятно нормально ли например в ручную прописывать редиректы для 100 страниц?
Alex R,
Вот именно. Почему Яндекс решил что страницы с кодом ответа 404 это плохо?
seobeehive2,
справедливости ради, уведомление висит не постоянно, как только вылетает из индекса, уведомление пропадает
Хачатурова Надежда
5 сентября 2022, 16:38
Alex R,
Вебмастер - Инструменты - Удаление страниц из поиска. Если страницы удалены намеренно, то лучше отправить их на удаление, думаю, чтобы ускорить процесс. 
Хачатурова Надежда,
то есть если у вас более 100 страниц, вы вручную их удаляете через вебмастер.яндекса?
Хачатурова Надежда
5 сентября 2022, 17:01
Alex R,
это нетрудно. Скопировали список - вставили. Правда, там лимит, вроде, есть или был. Но вот сейчас на паре небольших сайтов заглянула - 500 урлов в сутки. 
Обновлено 5 сентября 2022, 17:01
Хачатурова Надежда,
Проверено. Страницы все равно будут в списке критических ошибок в Вебмастере. "Некоторые страницы сайта отвечают HTTP-кодом 4xx"
Хачатурова Надежда,
там удаление вроде не списком, а по одному.
Хачатурова Надежда
5 сентября 2022, 17:12
seobeehive2,
так Яндекс переваривает медленно. Отправьте какую-то ерунду на проверку - 14 дней будет висеть проверка. Но все равно так быстрее от 404 избавиться, через инструменты - удаление. 
Хачатурова Надежда
5 сентября 2022, 17:14
Alex R,
https://disk.yandex.ru/i/l868Dgn9IVWCXw не по одному. ))
Хачатурова Надежда,
спасибо. да действительно. редко пользуюсь. 
platon
Сотрудник Яндекса12 сентября 2022, 14:31
Alex R,
если страница уже давно удалена из поиска, делать с ней ничего дополнительно не нужно. Как и говорится в посте, в таком случае сообщение можно пропустить.
Никакой проблемы в настройке редиректа для таких ссылок не будет, но и смысла этого делать нет. Это может пригодиться, если необходимо сохранить показатели старой страницы для новой.
Как быть с контентом, который только для зареганых юзеров, а всем остальным отдаёт 403?
platon
Сотрудник Яндекса6 сентября 2022, 12:45
Александр,
для того чтобы контент со страниц попал в поиск, страница должна отвечать кодом HTTP 200 ОК. Если страница отвечает роботу кодом HTTP 403, то контент с этой страницы попасть в поиск не сможет.
пост полезный, но текст как от seo-копирайтера))
а еще абзац повторяется
platon
Сотрудник Яндекса6 сентября 2022, 17:49
bseo,
спасибо за информацию! Поправим и учтем на будущее. Нам приятно, что у нас такие внимательные пользователи!
По этой теме есть ряд вопросов. Хорошо, что подняли кстати эту тему с прописными истинами.
1) Индексирующие боты не могут определять сходу файл robots.txt и карты сайта например вида sitemap-iblock-8.xml (Битрикс). В данных файлах используется специфический синтаксис, который бот определяет как "неподдерживаемый формат" в вебмастере, хотя ещё как поддерживаемый, просто не для этого робота. Нужно научить как-то, что-бы такие базовые файлы бот считывал, понимал что это и игнорировал, что-бы не засорять вебмастер и сбивать с толку новичков.
2) Бывает так, что на странице стоит явный редирект. Например со страницы /catalog на страницу /catalog/, у меня этот редирект в "исключенных страницах", отображается аж с 26.10.2021 (почти год) и вебмастер до сих пор подсвечивает этот факт. Понятное дело что год этот редирект стоит грамотно и можно было бы убрать оповещение касательно этого факта. (или какой-то архив создать для таких висяков, не на общем обозрении).
3) Третий момент. Удалённые страницы со статусом 404 или какие-то фейковые страницы со статусом 404, месяцами болтаются в этом статусе, пропадают, а потом через пару месяцев опять появляются. Понятно, что если доступа к странице нет уже пол года, то его и не будет и страница удалена или не доступна с концами, информация по оповещению - устарела и не следует вообще обращаться к этой страницы и поднимать эту тему, но этого не происходит. Прим. страница 404 у меня толковая по несуществующему URL и в теле и в заголовке пишет, что 404 "запрашиваемая страница не найдена".
Короче плачет во мне перфекционист. Хотел чистую индексацию сделать "ноздря в ноздрю" а по факту в "структуре сайта" загружено 165, а в поиске 156. Девять этих шляп болтается (роботсы, карты сайта, древние 404, древние редиректы) и побороть их никак не получается.
Обновлено 6 сентября 2022, 21:14
platon
Сотрудник Яндекса7 сентября 2022, 16:46
proferum,
я рад, что тема показалась вам интересной! Отвечу на ваши вопросы по порядку:
1) Файлы robots.txt и Sitemap не участвуют в поиске, но могут обходиться роботом и показываться в статистике обхода с таким статусом. Обычно это происходит в том случае, если вручную отправить их на переобход как обычные страницы. Однако, это никак не влияет на индексирование сайта или обработку этих файлов. Нашим специалистам известен этот вопрос, они уже взяли его в работу.
2) Если на странице установлен редирект, она пропадет из списка исключенных при условии, что другие ресурсы не ссылаются на нее. Если она до сих пор отображается в списке исключенных, вероятно, на нее ссылаются другие ресурсы. Чтобы страница пропала из списка исключенных, запретите ее индексирование в файле robots.txt.
3) Робот может продолжать обходить страницы, которые ранее отвечали кодом 404. Таким образом он повторно проверяет их на доступность, и если они снова отвечают кодом 200 ОК, то такие страницы будут проиндексированы. Такое поведение не является некорректным. Если вы хотите, чтобы робот не обращался к таким страницам, их можно запретить в файле robots.txt. Запросы к запрещенным страницам прекратятся в течение суток после добавления запрета, а в течение нескольких недель такие страницы будут удалены из базы робота. К сожалению, здесь мы не можем посоветовать указание конкретных директив в robots.txt. По этому вопросу вы можете написать нам через форму обратной связи.
Обновлено 7 сентября 2022, 16:47
platon,
Спасибо за пояснения. Приму необходимые меры.
Удивляет очень странное поведение роботов Яндекса. Если страница сайта отдает 404, ЗНАЧИТ ЭТОЙ СТРАНИЦЫ НЕТ (!!!) и абсолютно не важно есть где-то на нее ссылка или нет. Пример, есть сайт со штучным товаром (все товары в 1 экземпляре) оборот очень высокий - ежедневно добавляется и удаляется до 100-200 позиций. Естественно что проданный товар стал недоступен для продажи. Зачем его по нескольку раз индексировать. В год из продажи уходит несколько тысяч товаров, соответственно (по логике Яндекса) эти страницы надо блокировать в robots.txt. Представляете объем такого файла?
Еще есть вопрос про 301 редирект. Примерно год назад был сброшен домен, в этом году (в июне) его выкупила другая компания, запустила на этом домене совершенно новый сайт (другой тематики). Роботы Яндекса до сих пор ломятся на сайт по старым ссылкам, получают 301 редирект в корень сайта и продолжают ломиться по старым адресам и продолжается это уже 3 месяца. Сайт находится под фильтром из-за каких-то проделок предыдущего владельца, тех.поддержка Яндекса не отвечает от слова "совсем". Как в таких условиях работать с поиском Яндекса?
Обновлено 15 сентября 2022, 11:13
platon
Сотрудник Яндекса15 сентября 2022, 15:31
leha3077,
отвечу на ваши вопросы по порядку:


1. Робот действительно может обращаться к страницам сайта, даже если код их ответа отличается от 200ОК. Таким образом робот проверяет страницы на доступность, то есть на возможность вернуть их в поиск.
Дополнительно запрещать их в файле robots.txt необязательно. После переобхода таких страниц роботом, и обновления поисковых баз они будут исключены из поиска. Вы можете использовать инструмент Переобход страниц, чтобы ускорить этот процесс. При использовании инструмента страницы будут обновлены в базе в течение 1-2 недель.
После исключения таких страниц из поиска как-либо влиять на участие других страниц вашего сайта в поиске они не будут, не переживайте.
2. Аналогичным образом робот обращается к страницам с редиректом. При этом из базы поиска страницы с перенаправлением могут не удаляться достаточно долгое время. Это делается для наиболее полной передачи показателей страниц с редиректом ссылкам по новым адресам.
Дополнительные вопросы вы можете задать через форму обратной связи сервиса Яндекс Вебмастер. Уверен, они не останутся без ответа.
Обновлено 15 сентября 2022, 15:32
platon,
Обращались 19 июля, ответа так и не последователо. А в Яндекс.Директе проблему решили в течение суток
platon,
Ваше сообщение пришло буквально сегодня и возникает с некоторой периодичностью:
Некоторые страницы сайта начали отвечать роботу HTTP-кодом 4xx в течение часа. Проверьте примеры таких страниц — они могут пропасть из результатов поиска. Если страница удалена с сайта специально, посмотрите рекомендации.
При этом в рекомендациях написано буквально следующее:

Укажите директиву Disallow в файле robots.txt.
Настройте сервер так, чтобы при обращении робота к адресу страницы он отправлял HTTP-статус с кодом 404 Not Found, 403 Forbidden или 410 Gone. Для удобства пользователей рекомендуем установить редирект с HTTP-кодом 301.
Причем  ваше сообщение это не какая-нибудь Возможная проблема, это КРИТИЧЕСКАЯ ОШИБКА. Которая влияет на поисковую выдачу всего сайта (насколько я понимаю). При этом диагностика вебмастера показывает всего 10 таких страниц из 19 с лишним тысяч находящихся в поиске. Всего 10 из 19000 - это немногим более чем 0.05% от общего числа. 
Получается, что выполняя рекомендации Яндекса мы сами себя загоняем в понижение поисковой выдачи. Нонсенс…
А 4ХХ - это в 99% случаев не ошибка на сайте, а сообщение поисковому роботу, что данной страницы больше не существует (впрочем, как и 301 редирект). И все ваши рекомендации указанные в этой статье тоже не работают. И если где-либо на просторах Интернета обнаружится ссылка на данную страницу, то это в конце концов проблема не владельца сайта, а проблема ссылащегося источника и критическая ошибка должна возникать у него.
PS. Так и что, насчет "остануться без ответа". Самое простое это не дать ответ, вместо того, чтобы решить проблему.
platon
Сотрудник Яндекса17 сентября 2022, 12:25
leha3077,
данное уведомление призвано указать владельцу сайта на наличие страниц, которые недоступны роботу и отвечают кодом 4ХХ. Само наличие критического уведомления не снижает позиции сайта в поиске, такой статус призван показать владельцу сайта, что некоторые страницы его сайта стали недоступны роботу, это вполне могут быть важные страницы и важно быстро принять меры.
P.S. Насчет "останутся без ответа" - уточните, пожалуйста, на какой вопрос вам не ответили?
platon,
Ticket#22071817175465114
platon,
Цитата из раздела помощи (https://yandex.ru/support/webmaster/service/site-diagnostics.html) примечание по критичным ошибкам:
Могут вести к исключению отдельных страниц или всего сайта из результатов поиска.

Вы сами себе противоречите.
platon
Сотрудник Яндекса17 сентября 2022, 15:31
leha3077,
дело в том, что страницы сайта могут быть разными. Есть те, которые действительно отвечают кодом 4ХХ и уже не содержат в себе важного контента, например, страницы, удаленные владельцем сайта. А некоторые страницы могут оказаться важными для сайта, но возвращать роботу ошибку. Это обстоятельство может повлиять на нахождение страниц в поиске. Если такую ошибку не устранить, то в будущем робот исключит такие важные ссылки, где была обнаружена ошибка. Также, есть вероятность, что сайт выпадет из поиска целиком. Поэтому в Вебмастере очень важно не игнорировать подобное уведомление.
platon
Сотрудник Яндекса17 сентября 2022, 20:26
leha3077,
простите, что так затянули с решением вашего вопроса и не предоставили своевременный ответ. В данный момент с вашим сайтом все в порядке, ограничения сняты. Информация в сервисе Яндекс Вебмастер уже обновилась.
platon,
Вот тут и возникает противоречие. Если страница отдает правильный ответ "404" как удаленная с сайта, и на данной странице отображается корректное, с точки зрения Яндекса, сообщение для посетителя о проданном товаре и возможные варианты его дальнейших действий для поиска аналогичных товаров, почему Яндекс определяет данную страницу как ошибочную и отправляет её в Критичные ошибки? Какие действия я (как веб-мастер) должен и могу предпринять в этом случае? 
Обновлено 17 сентября 2022, 20:47
platon
Сотрудник Яндекса18 сентября 2022, 08:47
leha3077,
данное уведомление является информативным и призвано указать владельцу, что на сайте существуют такие страницы. Тогда в случае необходимости владелец сайта может предпринять какие-либо меры.
Если участие таких страниц в поиске вам не требуется, то вы можете игнорировать данное уведомление. Со временем робот перестанет обращаться к таким страницам и информация о них будет вовсе удалена из базы робота, уведомление при этом пропадет автоматически. Замечу, что непосредственно само уведомление никак не влияет на ваш сайт.
platon,
Спасибо за разъяснение. Однако данное уведомление возникает постоянно из-за специфичности сайта, о которой я говорил выше. Я думаю, что было бы не слишком сложно научить робота понимать, что данная страница действительно отсутствует по объективным причинам. Это не более десятка ключевых слов в заголовке страницы (title), отличающиеся от стандартных. Или, как минимум, вывести данное уведомление из раздела критичных ошибок при определенных условиях (например, % от общего числа проиндексированных страниц). Благодарю, за потраченное на меня время.
platon
Сотрудник Яндекса18 сентября 2022, 10:58
leha3077,
процентное соотношение также может быть не совсем удобно в некоторых случаях, но мы подумаем над тем, как доработать уведомление, спасибо за отзыв.
I try to index this page into yandex but unable to do it can someone please help me out to fix it .
platon
Сотрудник Яндекса4 октября 2022, 18:42
callfoster,
hello, as we see, there are no difficulties with indexing of the page, it is included in the search. Please check it: https://yandex.ru/search/?text=url%3Ahttps%3A%2F%2Forchidtobacco.com%2F%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D1%8B-%D0%B4%D0%BB%D1%8F-%D0%B8%D0%B7%D0%B3%D0%BE%D1%82%D0%BE%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F-%D0%B8-%D1%83%D0%BF%D0%B0%D0%BA%D0%BE%D0%B2%D0%BA%D0%B8-%D1%81%D0%B8%2F&lr=43
If you mean that the site page is not displayed for some queries, please send us several examples of such queries for analysis.
Please do it via our form: https://yandex.com/support/webmaster/troubleshooting/site-indexing.html#site-indexing
We will examine their ranking.
Обновлено 6 октября 2022, 08:30
Так же каждые 15 минут фид валится новости говорит фаил больше 15 мб https://www.layta.ru/
Обновлено 7 октября 2022, 15:11
platon
Сотрудник Яндекса7 октября 2022, 17:34
Арсен,
чтобы мы смогли проанализировать ситуацию с фидами вашего сайта подробнее, напишите, пожалуйста, в службу поддержки через форму обратной связи: https://yandex.ru/support/webmaster/troubleshooting/feeds.html
Обновлено 7 октября 2022, 17:34
korotkih-vv@pioneer24.ru
17 октября 2022, 08:24
Ага товар продан ставишь, 404 и получаешь ошибку. Гениально ******.  Точнее сказал Лавров.
platon
Сотрудник Яндекса17 октября 2022, 14:34
korotkih-vv@pioneer24.ru,
это уведомление сообщает владельцу сайта о наличии страниц с кодом ответа 404. Если вы намеренно удалили страницы, можете просто игнорировать уведомление, со временем оно пропадет автоматически. Но если владелец сайта не удалял страницы специально, оно поможет своевременно обнаружить недоступность страниц.
Несколько страниц сайта робот не обходит, стоит статус "В очереди" уже на протяжении недели. Обращался с данной проблемой [Ticket#22102808171095038]
platon
Сотрудник Яндекса2 ноября 2022, 15:20
Евгений,
напишите нам, пожалуйста, через форму обратной связи. Так мы сможем более детально обсудить вашу ситуацию и помочь вам.