Блог Яндекса для вебмастеров

Теперь архив внутренних ссылок можно скачать

Для эффективной работы с оптимизацией вашего сайта необходимо постоянно отслеживать неработающие внутренние ссылки. Оперативно отслеживать появление таких ссылок можно в Вебмастере (Ссылки — внутренние ссылки). Для вашего удобства неработающие внутренние ссылки можно не только просматривать, но и скачивать в виде архива.

Ссылка может считаться неработающей, если допущена ошибка в адресе (URL) страницы, URL страницы изменился или страница не существует. При обнаружении таких ссылок мы рекомендуем исправлять их как можно скорее, так как они негативно сказываются на пользовательском опыте и снижают конверсии. Также, скорее всего, эти ссылки являются исключенными из индекса Яндекса.

Команда Вебмастера

P. S. Подписывайтесь на наши каналы
Канал Яндекса о продвижении сайтов на YouTube
Канал для владельцев сайтов в Яндекс.Дзен

100 комментариев
Татьяна Белова
3 декабря 2019, 14:04
Это удобно. Сейчас попробуем
Павел Гречко
3 декабря 2019, 14:31
спасибо 
отличное обновление 
вы лучшие 
platon
Сотрудник Яндекса3 декабря 2019, 16:07
Павел Гречко,
приятно слышать, спасибо!
Павел Гречко,
интересно было бы знать, чем же они лучшие?
Все кое-как работает, алгоритмы не логичны, поиск так вообще 10 рекламных ссылок, 8 ссылок на сервисы яндекса, да и часто спам ранжируется выше  тематических сайтов. Если сравнить с другими, то далеко не лучшие. А меняться они не будут, потому что им это не нужно, так как они считают себя лучшими и обсуждать это не в их интересах.
Andrey Sid,
Согласен, в ТОП порой откровенное "Г" сидит
Константин Илющенко
3 декабря 2019, 14:56
Отлично! Спасибо! 
Наконец-то что-то не об Алисе :P


Обработка вн.ссылок - это отлично! Спасибо за такую возможность.
platon
Сотрудник Яндекса3 декабря 2019, 16:09
Solunsun.ru,
рады, что вам понравилось!
Андрей Жуматий
3 декабря 2019, 15:51
Спасибо!
Отлично. Очень полезная вещь. А внешние "битые" ссылки есть возможность выгрузить в архиве?
platon
Сотрудник Яндекса4 декабря 2019, 07:56
seorutector,
в сервисе можно выгрузить информацию только о всех внешних ссылках, которые известны нашему роботу.
ОТЛИЧНАЯ НОВОСТЬ.  Я УЖЕ КОЕ-ЧТО ИСПРАВИЛА, ПОДОЖДУ , ЗАРАБОТАЮТ ЛИ ИСПРАВЛЕНИЯ. 
Александр Денисов
3 декабря 2019, 16:42
Спасибо)
Станислав Р.
3 декабря 2019, 16:44
Обновление отличное! Было бы здорово, если бы также добавили возможность смотреть работающие внутренние ссылки (откуда и куда).
Робот не нашел битых ссылок https://trueinsurance.ru/ (((( Подозреваю не работает сервис
Да, полезное обновление.


Но почему вы сделали так, когда рабочий сайт с PR 30, который в поиске несколько лет держится на первых местах, становится неглавным зеркалом , а главным зеркалом становится с www. 


www - это прошлый век, но ваша система посчитала, что это лучше, чем версия без www. 
Никто сейчас версию с www не делает даже, так зачем на него автоматически заменять?


На моем сервере изменения и редирект в  .htaccess перестал работать, нужно менять код на другой.  Но позиции уже слетели из-за той бредятины, которую устроил вал алгоритм.


Зачем автоматически зеркала менять на версию с  www?
В чем смысл замены? Объясните?


Знаете почему гугл так не делает? Потому, что это не логично. Если домен определенный закрепился  в поиске, да ещё и длительное время, они никогда не меняют его на версию с www и https.  Если нужно заменить на определенную версию, то это произойдет только тогда, когда администратор пропишет редирект на эту версию.



Andrey Sid,
Андрей, а можешь подробнее написать в чем проблема? В последнее время тоже наблюдаю падение сайта на пустом месте, а в топе сайты, у которых ни телефонов, ни координат... 
devetyarov.d.n,
 
на пустом месте быть не может.


Яндекс меняет главные зеркала автоматически, с рабочего, который уже несколько лет в поиске, на нерабочий. Это если нет редиректа с нерабочих на рабочее.
Например, если нет редиректа с https на http или он не прописан в запрете индексации, то сайт в поиске поменяется на версию https автоматически, несмотря на то, что нет сертификата и почти всем посетителям браузер выдает предупреждение безопасности и почти никто на него не зайдет.
Зачем это нужно, никто из сотрудников не расскажет. 
Точно так же со всеми зеркалами: www. и т.п.
Если бы он с нерабочего менял на рабочее, или хотя бы спрашивал в вебмастере подтверждение. Но лучше бы не менял, потому как если нужно менять, то тогда редирект
platon
Сотрудник Яндекса5 декабря 2019, 10:01
Andrey Sid,
для корректного определения главного зеркала роботом мы действительно рекомендуем устанавливать 301 редирект со всех страниц возможных зеркал. Если у вас еще остались вопросы по смене главного зеркала, вы можете задать их моим коллегам из службы поддержки: https://yandex.ru/support/webmaster/yandex-indexing/moving-site.html
Бесполезный инструмент, отображает кучу ссылок, которые нормально открываются или была ошибка 500 дней назад, зачем мне это?
platon
Сотрудник Яндекса4 декабря 2019, 11:15
ciaospb,
в сервисе отображаются все нерабочие ссылки, которые содержатся в базе робота. После переобхода страниц и обновления данных в разделе, ссылки смогут исчезнуть из списка неработающих.
platon,
Можно ли добавить в файл выгрузки тип неработающей ссылки? Например, у меня 200 000 неиндексируемых страниц: 1000 с ошибкой 404 и 1000 с ошибкой 500. Меня интересуют только с ошибкой 404. А в архив выгрузятся все 202 000, без какой либо пометки, что за ошибка по этому адресу.
anatoliy.uhanev,
Анатолий, что у вас за сайт, где 200к неиндексируемых страниц??? Как себя вообще чувствует проект???
platon
Сотрудник Яндекса6 декабря 2019, 07:32
anatoliy.uhanev,
если я вас правильно понял и речь о выгрузке примеров раздела "Внутренние ссылки", то в данном разделе можно выгрузить только список всех ссылок.
platon,
Все верно, но можно ли сделать, чтобы это был не просто список ссылок, который ни о чем не говорит, а чтобы для каждой ссылки был указан тип (404 / неиндексируемая / 500 и тд)
platon
Сотрудник Яндекса6 декабря 2019, 15:39
anatoliy.uhanev,
решить этот вопрос быстро не получится, увы. Я передам ваше пожелание менеджеру и команде сервиса, они рассмотрят его самым внимательным образом.
Павел Горбунов
10 декабря 2019, 10:20
platon,
не только код нужен, но и дата последнего обнаружения страницы с этим кодом.
Иначе мы можем видеть код, который был у страницы N дней назад, а это уже неактуально.
alexander.alyoshin.1
3 декабря 2019, 22:09
Как сказать роботу перепроверить ссылку? Очень много ссылок с кодами 404 и 500, хотя по факту они рабочие. Не суть почему так вышло, важно знать как это исправить. 


Яндекс, что делать?
platon
Сотрудник Яндекса4 декабря 2019, 08:53
alexander.alyoshin.1,
в Вебмастере доступен инструмент "Переобход страниц" (https://webmaster.yandex.ru/site/indexing/reindex/ ), вы можете воспользоваться им для того, чтобы ускорить обновление данных о таких ссылках в базе индексирующего робота.
alexander.alyoshin.1
4 декабря 2019, 08:59
platon,
О, прекрасно! Спасибо!
alexander.alyoshin.1
8 декабря 2019, 23:38
platon,
Мне нужно переобойти 6500 страниц, а лимит 20 в сутки. Можно ли как-то переобойти с бОльшим лимитом? А то выходит мне каждый день на протяжении 11 месяцев нужно отправлять страницы.
platon
Сотрудник Яндекса9 декабря 2019, 10:11
alexander.alyoshin.1,
дневной лимит зависит от размера и качества сайта. Изменить его вручную невозможно. Рекомендую продолжать развивать ваши сайты, в дальнейшем это может повлиять на увеличение лимита в инструменте.
alexander.alyoshin.1
9 декабря 2019, 12:25
platon,
Может я вам куда-то пришлю эти ссылки и вы сделаете сами? Ну правда, 320 дней подряд мне нужно каждый день добавлять по 20 ссылок, чтобы все нужные ссылки переобойти. Это ж простите с ума сойти можно....
alexander.alyoshin.1,
А какова цель перехода такого кол-ва страниц? У вас массовые изменения сайта или что? Ведь каждый день Ваш сайт и так посещает яндекс бот, соответственно за определённое время в зависимости от лимитов, он все это обойдет...
alexander.alyoshin.1
9 декабря 2019, 12:48
devetyarov.d.n,
робот обходит долго
alexander.alyoshin.1,
Нуу, тут только терпение, либо грамотная проработка сайта на стадии проектирования и старта, чтобы не попадать в такие ситуации. Как вариант, новый домен, там быстро обойдет.
alexander.alyoshin.1
9 декабря 2019, 13:19
devetyarov.d.n,
Простите, но я говорил с сотрудником яндекса, с ним бы и хотел продолжить диалог в этой ветке.
platon
Сотрудник Яндекса9 декабря 2019, 15:20
alexander.alyoshin.1,
а может быть вы мне и ключи от своей квартиры, где деньги лежат, дадите? :)) Шутка :)
platon,
Уместная шутка))) 
alexander.alyoshin.1
9 декабря 2019, 15:43
platon,
вы очень отзывчивы...
alexander.alyoshin.1,
Александр, поэтому Вас и спрашивал для чего Вам это, Вы сами не можете конкретно объяснить ситуацию... Лимиты бота не бесконечные, чтобы по щелчку он обходил тысячи страниц сайта просто так...
alexander.alyoshin.1,
А если Вам дальше потребуется 100 тыс обойти???
platon
Сотрудник Яндекса9 декабря 2019, 16:57
alexander.alyoshin.1,
я ни в коем случае не хотел вас обидеть, просто хотел донести мысль, что мы подобными вещами не занимаемся.
alexander.alyoshin.1
10 декабря 2019, 03:33
devetyarov.d.n,
Ваш вопрос мне не понятен. Как зачем? Открываем внутренние ссылки, видим проблемы (в моём случае это "Ошибки на стороне сервера" и "Запрещены к индексированию или не существуют"), видим что "возраст ссылки" по куче ссылок - больше 300 дней. Что надо делать? Правильно - проверять и исправлять. Не понимаю вопроса "зачем?". Чтобы было хорошо, вот зачем. Ссылки рабочие - робот их не обходит (не суть почему), сотрудник Яндекса говорит - добавьте в переход. Всё. Не понимаю чего вы влезли в диалог.
alexander.alyoshin.1
10 декабря 2019, 03:34
platon,
Хорошо, спасибо. Буду мучаться.
Обновлено 10 декабря 2019, 03:34
Отлично! А когда почините поиск?
platon
Сотрудник Яндекса4 декабря 2019, 08:02
borisenko@email.su,
а что не так?
Спасибо.
platon
Сотрудник Яндекса4 декабря 2019, 08:54
Алексей,
всегда пожалуйста!
На мой взгляд, актуальность данных в этом отчете на столько устаревшая, что я уже перестал верить в деда мороза. Нужны более свежие данные, а не октябрьские, в декабре.
SCAREwww,
а если допустить, что это база поисковика, от которой он отталкивается, ранжируя ваши сайты?
Дмитрий Х.,
Речь не про базу или сайты, речь про конкретные страницы на сайте.
У вас есть, например битые ссылки (404), вы их исправили и отправили все страницы на переобход роботу. Страницы уже ранжируются без проблем, но в отчете по прежнему висяк, какой от него толк. 
Павел Горбунов
10 декабря 2019, 10:18
SCAREwww,
вот я тоже вижу, что большинство проблемных ссылок в отчете уже не актуальны и не существуют.
Поэтому явно не хватаете столбцов с кодом ответа страницы акцептора (чтобы выявить битые и редиректные ссылки) и с датой последнего обнаружения ссылки.
По-хорошему бы и тип ссылки добавить, так как ссылки-картинки если и нужно рассматривать, то отдельно, в рамках конкретных задач.
Потому сейчас инструмент еще сыроват, очень нужны дополнения.
Заранее спасибо за грядущие обновления инструмента!
Спасибо за новую возможность для оптимизации! 
А если по теме выдачи, вы перебор со своими сервисами не делаете? Сейчас из топ 10 - Я.Картинки, Я.Коллекции, Видео, Дзен + реклама директ. Первые 2 дублируются, в органике + сбоку. Как бы пользователю выбора не даете. Или свои сервисы, или реклама директ. Ну если ему повезет то случайно кликнет на обычный сайт.
inkredo.com,
8 ссылок с сайтами в выдаче по запросу, 10 ссылок с рекламой, ещё 8 ссылок с сервисами Яндекса + боковая реклама = много денег с налогов в казну.
Google: 6 ссылок рекламы, карты, 10 ссылок в выдаче. 
Походу Google скоро запретят, а то ещё перестанут пользоваться  Яндексом. )))
Пишут что нужно написать региональность, но этот раздел у меня не работает. Хотел написать в службу поддержки, но до нее не дойти ни доехать: Все пути ведут к каким-то отпискам и обратиться в службу поддержки невозможно. Как мне отремонтировать раздел "Региональность"?
platon
Сотрудник Яндекса6 декабря 2019, 13:49
Виталий В.,
пожалуйста, задайте вопрос о своем сайте с помощью формы, доступной по ссылке https://yandex.ru/support/webmaster-troubleshooting/ . Нужно выбрать "Региональность сайта" - "Задать вопрос о регионе сайта" - "Вопрос о регионе в Вебмастере". Вложите в письмо скриншот страницы с описанной ситуацией. Мы обязательно разберемся и поможем вам.
Тоже хочется сказать спасибо, полезная штука. Да, вы лучшие ) 
И присоединиться к тому спасибо, которое "наконец то что-то не про Алису " :)))))
Уважаемые Платон и его команда, у меня вопрос, который может быть интересен не только мне. Что происходит с иксом при смене домена? Вот классический вариант - неплохой полезный старый сайт, созданный в те времена, когда о важности домена еще почти никто и понятия не имел, в тч по отсутствию конкуренции. Теперь правильный домен это основа. И вот подобран новый, принципиально лучше. Так вот, что будет при полном переезде, разумеется, с общим 301 редиректом, по логике поисковика яндекс? Что его сразу новой версии не дадут, понятно. У старого домена, лишившегося контента, его прямиком отнимут или он будет както во времени перетекать?
platon
Сотрудник Яндекса6 декабря 2019, 15:36
lujaikaOOO,
спасибо за приятные слова :) В силу особенностей расчета ИКС сейчас при изменении домена может потребоваться значительное время для восстановления значения ИКС на новом домене. Беспокоиться по этому поводу не стоит. Это техническая особенность расчета ИКС, которая не накладывает каких-либо ограничений при ранжировании сайта. Мы будем работать над тем, чтобы уменьшить время восстановления показателя ИКС в подобных ситуациях.
наконец-то не турбо!
А почему в выгрузке нет статуса страницы, который справа от ссылки отображается в вебмастере?
platon
Сотрудник Яндекса6 декабря 2019, 16:39
Илья BC,
на данный момент такая возможность не реализована. Я передам ваше пожелание команде сервиса, они рассмотрят его самым внимательным образом.
Анатолий Чупин
6 декабря 2019, 17:16
А когда будет реализована возможность скачать запросы, по которым были показы в результатах поиска?
platon
Сотрудник Яндекса8 декабря 2019, 10:50
Анатолий Чупин,
вы можете скачать статистику в виде таблицы Excel на странице Статистика запросов. Для этого внизу страницы есть кнопка XLS.
Хороший сервис: "Что-то пошло не так. Повторите попытку позже". Конечно, у всех бывает, но что-то уж слишком часто ЯВ глючит.
И зачем мне нужны в архиве с неработающими ссылками те страницы, которые запрещены к индексированию? Ссылки работают, живые, но они предназначены не для робота и не для Яндекса, а для живых людей.
Дожили - страницы для людей не предназначены роботу. Иначе в поиске будет куча дублей, не имеющих ценности... Хотя люди думают совсем иначе!
Павел Горбунов
10 декабря 2019, 10:48
И еще - по выгрузке непонятно, в каком столбце адрес донора, в каком - акцептора.
Добавьте заголовки страниц, пожалуйста.
platon
Сотрудник Яндекса10 декабря 2019, 13:11
Павел Горбунов,
я передал ваше пожелание менеджеру и специалистам сервиса, они рассмотрят его самым внимательным образом.
Павел Горбунов
10 декабря 2019, 13:21
platon,
Хорошо, спасибо.
Будем ждать.
Здравствуйте! Подскажите, пожалуйста.


Я продвигаю по SEO страницу по запросу "Продвижение сайта". Имеет ли значение, на каком уровне вложенности находится страница?


1) site.ru/prodvizhenie-sajta/
2) site.ru/uslugi/reklama/seo/prodvizhenie-sajta/


Влияет ли фактор вложенности на позицию страницы в выдаче?
platon
Сотрудник Яндекса12 декабря 2019, 13:30
nastroisshik,
мы не комментируем подобные моменты. 
Кстати, по поводу внутренних ссылок. Обнаружил в вебмастере кучу несуществующих страниц (которые и не должны существовать)  у себя на сайте, ведущих со страницы rss. Путём нехитрого анализа определил, что в качестве исходящей ссылки рассматривается содержимое тега <guid>. Да, зачастую вебмастера там располагают линк на страницу, но согласно спецификации <guid> определяет уникальный идентификатор для элемента и не обязан быть ссылкой на веб-страницу, а в качестве ссылки используется элемент <link>.  Не кажется ли вам неправильным рассматривать содержимое <guid> как внутреннюю ссылку?
platon
Сотрудник Яндекса17 декабря 2019, 13:04
shorindan,
пожалуйста, напишите в службу поддержки, указав несколько примеров таких внутренних ссылок, мы посмотрим и сможем прокомментировать ситуацию.
Здравствуйте. 


Очень полезный функционал, но сейчас выдает ошибку: "Что-то пошло не так..." Пожалуйста, проверьте работу сервиса для скачивания архива битых ссылок.
Заранее благодарю.


ПС: сейчас так сложно связаться с техподдержкой Яндекса, что о проблемах приходится писать в комментариях в надежде, что их кто-то когда-то прочитает и о проблеме узнают. 
platon
Сотрудник Яндекса14 января 2020, 09:53
Toptimum,
здравствуйте! У себя сейчас не воспроизвожу ситуацию вашу. Если в настоящий момент она актуальна, пожалуйста, напишите моим коллегам в службу поддержки.
platon,
Подскажите как проверить  битые ссылки 
platon
Сотрудник Яндекса23 февраля 2020, 18:52
bogomolovalbert2012,
в разделе "Внутренние ссылки" Яндекс.Вебмастера (https://webmaster.yandex.ru/site/links/internal/ ) представлены все неработающие (битые) внутренние ссылки вашего сайта, а также URL-адреса страниц, в контенте которых они присутствуют. Ссылка признаётся неработающей, если при обращении к странице, на которую она ведёт, робот получает какую-либо ошибку соединения или обработки: коды 4ХХ и 5ХХ, не смог скачать содержимое или вообще столкнулся с запретом индексирования.
Если перечисленные страницы вашего сайта сейчас доступны, то ничего делать не нужно. По мере обхода сайта робот автоматически обнаружит это, после чего, с обновлениями данных в инструменте, они должны будут перестать отображаться как "неработающие".
Константин Кирякогло
12 февраля 2020, 12:02
Класс супер
Это невероятно удобное решение, спасибо Яндекс и команде.


С уважением,
Анна и команда SitesAdd.com
Очень своевременно пришло ваше письмо. Я очень вам благодарна, так как совсем забыла о том, что если видео удалено, то ссылка оказывается битой. У меня украли канал и полетели все видео в статьях. А я об этом не подумала. Но есть "НО". Нет смысла в скачивании архива ссылок, так как он не в одной программе не открывается. Бесполезное предложение.
Обновлено 13 февраля 2020, 01:51
АгроМир-Запчасти
22 февраля 2020, 15:01
Добрый день .. да есть такие ссылки у меня .. А как их убрать?
platon
Сотрудник Яндекса22 февраля 2020, 22:03
АгроМир-Запчасти,
чтобы убрать ссылки из этого списка, нужно вернуть доступность страниц, на которые они ведут, установить редирект с них на рабочие страницы, обернуть ссылки в элемент noindex или просто их удалить. После переобхода страниц и обновления данных в разделе ссылки смогут исчезнуть из списка неработающих.
Олег Кононов
20 апреля 2020, 15:05
Скажите пожалуйста. А почему не показываются рабочие внутренние ссылки. Показываются только битые.
platon
Сотрудник Яндекса20 апреля 2020, 18:33
Олег Кононов,
Данный инструмент предназначен для того, чтобы вы отслеживали неработающие внутренние ссылки на вашем сайте. Так вы можете оперативно отследить все битые ссылки и исправить их.
Олег Кононов
20 апреля 2020, 19:50
platon,
У меня битых ссылок уже нет давно, а они показываются в Вебмастере. А где посмотреть действующие ссылки? Раньше было видно, сколько действующих ссылок. Сейчас как я понял, такого нет?
Оля Кумар
20 мая 2020, 09:23
Хорошая функция. Спасибо!
Дмитрий Светелик
21 октября 2020, 19:08
А чем открыть это чудо? Эксель не справляется.
platon
Сотрудник Яндекса21 октября 2020, 22:06
Дмитрий Светелик,
опишите ситуацию подробнее. Какая именно ошибка появляется при открытии архива?
супер
Скачать таблицу - неактивно. архив скачивается в tsv.gz. Ничем не открыть  штатно. Битых ссылок много страниц. хотелось бы иметь файл для работы.
platon
Сотрудник Яндекса12 января, 20:31
astrawebru2,
1. Скачайте и распакуйте архив.
2. В Excel зайдите в меню "Файл" - "Импорт" и укажите "текстовый файл". Либо вкладка "Данные", пункт "Из текста".
3. Укажите файл.
4. Выберите вариант "с разделителями" и формат "UTF-8".
5. В качестве разделителя укажите "знак табуляции".
6. Нажмите "Готово".
Обновлено 12 января, 20:33
Здравствуйте, помогите, пожалуйста, разобраться с этой функцией.  В отчет выгрузилось 85 якобы битых ссылок (вебмастер показывал 41). Выборочно проверила  наиболее свежие - ссылки работают. Допустим их еще не переобходил робот, проверила старые 18 года - тоже работают (их ведь уже должны были переобойти и удалить из списка?). Как в такой ситуации не упустить ту самую, нужную, битую ссылку? 
platon
Сотрудник Яндекса19 января, 22:10
maps.21vek,
пожалуйста, напишите моим коллегам в службу поддержки. Без конкретных примеров прокомментировать ситуацию не получится.
Али Профи
29 апреля, 21:10
С Января 2021 у меня вообще ссылки не показывает новые, это у меня одного так?
platon
Сотрудник Яндекса30 апреля, 09:43
Али Профи,
работы над улучшением процессов подготовки данных ещё не закончены, поэтому информация в разделе "Ссылки" может обновляться с задержкой. Мы постараемся завершить работы как можно скорее, но я пока не могу сориентировать вас относительно конкретных сроков. Пожалуйста, дождитесь окончания работ.
Валерий
6 мая, 12:23
Накипело!...
Постоянно хватаетесь за кучу разных нововведений не доведя до ума уже введенное. Сделали пачку разных инструментов для улучшения индексации - пошли по пути чистить чистое и, как результат, все только ухудшили. Афоризмы Черномырдина - это о вас.


1. Я выгружаю файл "Все страницы" и вижу - 301 REDIRECT_NOTSEARCHABLE. Дате статуса уже пол года. Начинаю искать в поиске и нахожу выдачу этого УРЛ. Вопрос: Какого ляда этот урл стоит на выдаче, если уже пол года висит статус 301? 
Начинаю искать выдачу страницы на которую идет редирект - нету. Иду смотреть переобход целевой страницы за эти полгода, нахожу, несколько раз со статусом - N / a 200OK. 
Вопрос: Какого ляда каждый раз показывает N / a 200OK, если и в первый раз уже был ОК?
Опять вопрос: Какого ляда на выдаче стоит страница со статусом 301, если целевая страница уже несколько раз ОК?
Не знаю как у вас, но у меня уже башка отвалилась понимать эту логику.


2. Выбираю из файла страницы со статусом 200 ок, но точно знаю, что эти страницы с сайта удалил. Скармливаю урлы в окошко  "Удаление страниц из поиска", получаю ответ - страница удалена. По своей наивности думаю что так оно и есть. Блин, доверчивый какой... Мониторю раздел "Страницы в поиске" и совершенно случайно обнаруживаю список удаленных страниц "Ошибка HTTP", которые я скормил вашей дырке месяц назад. И месяц назад было написано - "Страница удалена".
Вопрос: Какого ляда написано "страница удалена, если она не удалена? А если она удалена месяц назад, то какого ляда она удалена сегодня?


3. Сортирую страницы по дате обхода, группирую товары по ликвидности, посещаемости и прочим признакам, важным с точки зрения коммерции. И снова Черномырдин в деле!
Наиболее значимые страницы (товары) переобходились черт знает когда, до года назад. И это при том, что они регулярно посещаются людьми, заказываются, ежедневно обновляется остаток, периодически цена. Зато заказные позиции, без остатка, редко посещаемые. и вообще не популярные, переобходятся с завидной регулярностью.
Вопрос: Какого ляда делает ваш счетчик и включенная функция "Обход по счетчику"?


4. На сайте ежедневно происходит обновление остатков. Для корректного определения страниц с внесенным изменением вычисляется хеш и вывешивается на сервер для корректной выдачи Last-Modified и 304 Not Modified. Изучаю обходы и, парадокс - с завидной регулярностью обход идет по "замороженным" страницам, а регулярно обновляемые - навеки забыты.
Вопрос: на кой ляд я платил программистам, чтобы они внедряли и настраивали корректную обработку страниц?


Все, устал перечислять. А мог бы еще несколько пунктов добавить. Только думаю смысла нет.
Если, вдруг, под моим постом напишет platon и попросит написать в службу поддержки, и привести примеры, делать этого не стану.


Во первых: platon, это не человек, а программа, которая всем предлагает написать в поддержку.
Во вторых: чтобы написать в поддержку, требуется пройти целый квест по указанию всяких "зачем" и "почему", привести примеры по определению не принадлежащие заявляемой проблеме, следовательно, не могут быть приведенными, следовательно, обращение не может быть составленным корректно.
В третьих: я заранее знаю ответ - "с вашим сайтом все в порядке, продолжайте работать над его улучшением."


Я знаю, что с нашим сайтом все в порядке, с вашим поиском все не в порядке. Прекратите работать над его улучшением! Все ваши улучшения - сплошной Черномырдин, "хотели как лучше, а получилось как всегда". 
platon
Сотрудник Яндекса6 мая, 18:00
Валерий,
поверьте, мы всегда внимательно читаем обращения, и анализирует их живой человек. Однако очень многие вопросы необходимо рассматривать на конкретных примерах, поэтому мы предлагаем обратиться в поддержку по случаям, когда нужно проверить ситуацию с отдельным сайтом или страницами. К тому же, информация об индексировании и ранжировании является конфиденциальной, раскрыть ее мы можем только владельцам сайта, которые подтвердили права на его управление.


В связи с этим по вопросам 1 и 3 я могу только попросить вас написать к нам в поддержку: https://yandex.ru/support/webmaster/indexing-options/link-metrica.html . Без конкретных примеров эту ситуацию мы прокомментировать не можем. Что же касается второго вопроса: инструмент удаления страниц из поиска исключает их именно из поисковой выдачи, а не базы поиска, данные из которой показывает Вебмастер. В базе поиска данные никак вручную обновить нельзя, информация обновляется после того, как робот посетит страницу, с соответствующими обновлениями. Поэтому вполне возможна ситуация, что из поиска ссылка была исключена, но в базе какое-то время хранятся данные о ее доступности, после чего робот обновляет эти данные, и в Яндекс.Вебмастере они тоже обновляются.


Переходя к четвертому вопросу, в данный момент http-код 304 может учитываться нашими роботами, однако при планировании и обходе страниц учитывается еще огромное число других факторов, и такие страницы вполне могут индексироваться, в этом нет ошибки, это особенность процесса индексирования нашей поисковой системы.
Валерий
7 мая, 09:01
platon,
Резюмируя ваш ответ, можно сказать коротко - не верь глазам своим, т.к. смотришь в книгу, видишь фигу. Поскольку в вебмастере я вижу не то, что происходит на самом деле.


Я не прошу помощи в поиске проблем с моим сайтом, их нет, а пытаюсь обратить ваше внимание на проблемы поиска. Анализируя то, что сказано мной, вами, и то, что видно из вебмастера, можно сделать вывод: у вас есть правила исключающие друг-друга. Конфликт условий.
Создание новых и новых инструментов индексации, запускает процессы по кругу, но не приводит к цели.  Иначе как объяснить то, что в поиске висят пол года 301 при наличии 200.
Логика здравого размышления указывает - если получил 301, удали ее и поставь 200. Однако ведь этого не происходит.
Эта беда касается не только моего сайта, это касается всех. Вы можете проверить на любом сайте с большим количеством предложений. Все до банальности просто - тыкаете пальцем в любой ИМ и смотрите что выдает вам "Все страницы".
Что касается "...еще огромное число других факторов..." - есть 2 фактора
1. Востребованность страницы
2. Http заголовки
Они приводят к очень простому выбору - делать обход / не делать обход. Двоичный код однако, 1 или 0.
Речь-то идет об обходах страниц, а не ранжировании. Тем не менее, детально изучая происходящее, явно видно НЕ следование условиям из http заголовков и счетчика. Иначе как объяснить логику вашей машины? Есть заголовок, указывающий на произошедшее изменение с момента последнего обхода, есть сигнал счетчика о ценном трафике на данную страницу, но машина по какой-то причине принимает решение забить на эти сигналы и пойти к нахрен никому не нужным. Прям стерва какая-то... Одно из двух, она либо корыстная, либо тупая.
platon
Сотрудник Яндекса9 мая, 16:53
Валерий,
описанные вами ситуации необходимо изучать на конкретных примерах. При обращении в службу поддержки мы сможем более детально изучить страницы. Без этого как-либо прокомментировать ситуацию с ними не получится.
Что касается факторов, влияющих на индексирование, при обходе страниц поисковой системой учитывается значительно больше двух факторов, ведь страниц в базе поиска сотни миллионов и построение процесса их индексирования требует учитывать значительно больше моментов.