Блог Яндекса для вебмастеров

В Яндекс.Вебмастере обновились разделы про индексирование

Пост в архиве.

В бета-версии Яндекс.Вебмастера произошли изменения, связанные с индексированием сайтов. Мы удалили из соответствующего раздела информацию о страницах, которые давно исчезли и уже «забыты» роботом. Теперь отображаемые в сервисе веб-документы максимально близко соответствуют «живому» индексу.

Запуская бета-версию Вебмастера, мы включили в неё больше связанных с индексированием данных, в том числе картинки и другие известные роботам файлы (css, js и т.п.), размещённые на сайтах пользователей, и попросили вебмастеров высказать своё мнение, нужно ли показывать такие сведения в интерфейсе инструмента. Судя по обратной связи, эта функциональность оказалась не слишком востребована, а иногда и вовсе приводила к путанице. Поэтому с обновлением Вебмастера информация об изображениях исчезнет из сервиса, а мы перестанем учитывать её при расчёте показателей сайта.

В результате нововведений число загруженных и исключённых страниц в разделе «Индексирование» может уменьшиться. Подчеркнём: это связано с обновлением и не значит, что робот стал хуже индексировать сайт или посещать меньше страниц.

Спасибо за вашу обратную связь, она помогает нам делать сервис лучше!
Команда Яндекс.Вебмастера

82 комментария
Оо, отлично! Вообще последнее время Яндекс радует, новые инструменты и самое главное полезные, переобход страниц помог решить проблему медленной индексации уникального контента на портале (его успевали воровать). Конечно все эти изменения влияют на позиции что вчера с утра у меня по сайту были одни позиции а вечером другие, и теперь почти каждый день позиции меняются! Но приятно осознавать что поиск развиваеться и вводяться новые инструменты. Кстати, если вдруг автор прочитает это сообщение, подскажите это правда что яндекс опять расширяет количество обьявлений Яндекс Директ на страниц в ущерб органической выдаче? 
Елена Першина
3 июня 2016, 14:07
Добрый день! Нет, расширять количество объявлений в ущерб органической выдаче не планируем. Нам важно, чтобы пользователи всегда могли легко найти наиболее релевантные документы, решающие их задачи, сразу после того, как задали запрос.
Не хватает выборки (за неделю, две недели, месяц). Хочется видеть новые ссылки, для анализа проходящего. Либо просто добавить сортировки по дате появления ссылки в панеле.
Елена Першина
3 июня 2016, 14:07
Поняла, учтём на будущее.
А можно сделать в разделе "Индексирование / Входящие ссылки / Внешние ссылки" сортировку ссылок не по возрасту, а по весу и трасту. Чтоб сначала шли полезные ссылки (с точки зрения Яндекса), а в конце оставались ссылки с сомнительных и спамных сайтов или менее важных, по которым никто никогда не переходил. Если я не ошибаюсь, в старом вебмастере было именно так.
Елена Першина
3 июня 2016, 14:14
Мысль интересная, вообще мы сейчас думаем, как улучшить этот раздел. Но и сейчас при работе над параметрами "сводки" есть много возможностей сортировки по ценности для пользователей. Например, найти неработающие ссылки.

При этом все-таки не очень понятно, чем вам сортировка по весу может помочь - как она поможет что-то улучшить?
Елена Першина,
Сортировку по весу нельзя делать, тогда вебмастера будут знать алгоритм признания хороших ссылок)
Елена Першина,
Здравствуйте.
А на нашем сайте вообще перестали в какой-то момент отображаться входящие ссылки в панели бета.Вебмастер. Может сможете помочь с этим? И вообще подсказать из-за чего это произошло?
Елена Першина,
по весу, как раз позволит найти спамные ссылки и как то от них избавится. Бывает так: увас сайт на котором пользователи могут разместить статью или комментарий. Кто-то размещает статью с ссылкой или в комментах ссылку оставляет - и на такую страницу вашего сайта начинают ставить кучу спамных ссылок ... Вот их и можно было бы вовремя заметить. Ну а площадки у которых много очень ссылок могли бы видеть что какой-то весомый сайт ссылается на страницу, которую уже удалили например на сайте 404 - и моглибы попросить этот ресурс изменить адресс ссылки на похожую статью. Или к примеру увидели что весомый сайт не очень корректный текст ссылки использует и тоже могли бы попросить из менить ... А так черт ногу сломет копаться во всем ...
Елена Першина
6 июня 2016, 17:11
Роман,
Вот как раз и интересно, чем подобное знание может пригодиться (если не считать попытки создания магии на обманных технологиях) :)
Елена Першина
6 июня 2016, 17:12
Роман,
Ну, по конкретному сайту лучше поддержка Вебмастера поможет. А так ссылки и в старом, и в новом Вебмастере пропали?
Елена Першина
6 июня 2016, 17:14
Дмитрий,
Ну, если ссылка сломана, то для этого хорошо иметь отдельный статус, кажется, и мы об этом знаем. И ссылки, ведущие на 404 - это тоже, думаю, хорошо бы отдельным статусом иметь. Про сортировку по весу все-еще не очень понимаю - про пользу. Но да, согласна, что фильтров нужно больше, будем над этим работать, спасибо!
Елена Першина,
Спасибо за ответ. Ссылки пропали только в новом Вебмастере. В старом продолжают корректно отображаться. Служба поддержки сообщает, что рекомендуется ориентироваться на информацию из основной версии, пока сервис дорабатывается. Но проблема судя по-всему не массовая и мы предположили, что её можно устранить на стороне поддержки.
С нетерпением ждём окончательного выхода нового Вебмастера, команде Вебмастера больших успехов в данном направлении!
Елена Першина,
ох путанный у нас разговор вышел :) Попробую еще раз обстоятельно изложить:
1) 404 страница на моем сайте (статус сервер отдает, все нормально) но я не могу увидеть ссылки которые ведут на эти 404 страницы, соответственно вовремя не смогу предупредить вебмастеров сайтов с которых идут эти ссылки чтобы они могли поменять адрес.


2) СПАМЕР оставил ссылку у меня на сайте (допустим в комментах) - и пытается прокачать страницу моего сайта с сылкой на себя - с сомнительных ресурсов (дорвеи) с сомнительным же текстом. Вот для этого сортировка по весу - сразу видно что что-то не то происходит во вне сайта. Кстати был бы в данном случае полезен инструмент как у гугла - Возможность указать какие ссылки не учитывать, так как повлиять другим образом я на это не могу. А так указал что неучитывать и все.

Елена Першина,
Кстати прозрачность в этом вопросе может помочь Яндексу в борьбе с некачественными сайтами, которые сделаны для продажи ссылок. Народ просто перестанет поддерживать рублем так сказать некачественные ресурсы и проблема спама решится сама собой.
Елена Першина
14 июля 2016, 19:43
Дмитрий,
1) Это понятно, посмотрим, что можно сделать.
2) Да, кейс интересный, спасибо, подумаем над его реализацией.
Про инструмент неучета ссылок: нет, пока такой инструмент не планируется. 
По изображениям информация нужна. Но не всем, только тем, у кого сайты соответствующие и ориентируются на поиск по изображениям - обои на рабочий стол, фотографии и пр.
Попов Дмитрий
3 июня 2016, 13:48
devaka,
В текущем виде эта информация бесполезна была - т.к. все эти картинки были в разделе "исключенные страницы" и никак не связаны с поиском по изображениям.


Для того, что бы информация по картинкам была полезна - для этого нужно делать отдельный полноценный инструмент (или очень сильно переделывать текущий).
Елена Першина
3 июня 2016, 14:16
Да, тут проблема не в том, что информация о картинках и других данных была бесполезна, а в том, что ею было неудобно в данном случае пользоваться и она скорее мешала. Мы сейчас думаем, как иначе её отображать, чтобы она могла помогать и давать реальное представление о том, как такие файлы индексируются.
Молодцы! Пока ничего никуда не исчезло, ждем.

И да, поддержу, нужна инфа по всем объектам, просто не надо мешать мух с котлетами
Елена Першина
3 июня 2016, 14:16
Ага, выше про это уже написала. Сейчас думаем, как можно эти данные отображать иначе, чтобы было с ними удобнее работать. Но вот в нынешнем виде, увы, они порой скорее мешали.
Александр С.
3 июня 2016, 13:06
Если индексировать то, что именно: автор картинки или просто картинка без автора? Лично я в фотошопе сжимаю картинки, чтобы не показывать внутри данные.
А когда появиться инструмент на опознавания уязвимость в картинках или на URL-страницах? Например Гугл замечает и сразу оповещает об этом.
Спасибо, что творите чудеса!
Елена Першина
3 июня 2016, 14:20
Не очень поняла вопрос, вы же название на картинках даете, alt прописываете? Кажется, там вы можете указать и автора, и название, например.
Про инструменты безопасности - у нас есть инструменты по  безопасности - оповещения в Вебмастере, например. Но вот инструментов, позволяющих найти уязвимость заранее, мы в своих  вебмастерских инструментах пока не делали и в ближайших планах такого нет.
"информация об изображениях исчезнет из сервиса, а мы перестанем учитывать её при расчёте показателей сайта" - каких именно показателей?
Елена Першина
3 июня 2016, 14:21
В разделе "индексирование" - показатель количества загруженных и исключённых страниц.
Виктор Каргин
3 июня 2016, 13:40
а зачем информацию о картинках то убираете? это важно для многих сайто вдумаю, у кого картинок много индексируется. сделали бы лучше отдельный раздел по картинкам и по файлам индексирующимся
Елена Першина
3 июня 2016, 14:22
Как раз думаем над отдельным разделом, но пока удалили, так как очень многим данные по подобным файлам в разделе индексирование скорее мешали.
webmaster.ferrum
3 июня 2016, 17:35
А почему данные "Входящие ссылки" не обновляются в бета вебмастере уже 3й месяц? (последние данные от 31 марта) В старом вебмастере данные меняются. У меня одного так? По всем сайтам..
webmaster.ferrum,
У меня тоже застой в этом плане в новом вебмастере. И еще уже как недели 3 перестал Вебвизор в метрике на iPone, iPad работать. Боритесь с вебмастерами, чтоб они подгоняли свои сайты под мобильный трафик, а свои сервисы даже под планшет подогнать не можете.
Елена Першина
6 июня 2016, 17:15
Ольга,
А в поддержку Метрики писали об этой проблеме?
Елена Першина,
Писал! Сказали, что мобильная версия работает "нестабильно". Я пошел до конца - скачал все браузеры для iPad которые только были в апсторе. Проверил на всех! Нигде не работает вебвизор. Так что с ответственностью могу сказать, что ответ "работает нестабильно" не верный. Нужно писать "стабильно не работает". А его очень не хватает! Например, когда к клиентам на встречу приезжаешь или в дороге проверять статистику...
Елена Першина
28 июня 2016, 13:30
Ольга,
Я передала ваш комментарий коллегам из Метрики. Спасибо большое, они еще раз все проверят. 
Елена Першина
6 июня 2016, 17:15
webmaster.ferrum,
А можете уточнить сайт? Или напрямую в поддержку написать, чтобы мои коллеги могли проверить, в чем дело.
Елена Першина
6 июня 2016, 17:19
webmaster.ferrum,
Так, посмотрела по общей ситуации. Да, там есть проблема для небольшой части сайтов, у них данные о входящих ссылках в beta-версии Яндекс.Вебмастера могут быть неактуальными. Но мы это исправляем.  В данном случае смотреть нужно в старую версию Вебмастера - там актуальные данные.
неужели. а то мусор по 5 лет храниться
Вы бы хоть в уведомления в вебмастере сообщение сделали, а то как увидел подумал сайт упал и "фсё пропало шеф...." :-)

Елена Першина
6 июня 2016, 17:17
Alex-developer,
Пока технологии оповещения еще не совершенны :) Но работаем и над этим!
Спасибо, Яндекс. Давно пытаюсь убрать лишнее, невостребованность давно наблюдаю,но руки не доходят. То,что надо. С уважением, poteyko
Разочарования. Проверяю входящие ссылки. Смотрю кэш - там нет. Не понятно по данным какой давности "обновлялись".
Елена Першина
6 июня 2016, 17:20
selgreg,
Про ссылки пока лучше смотреть в старом Вебмастере, там более актуальные данные по этому вопросу.
Судя по всему данные более чем полуторамесячной давности.
При выборе категории, например, "Исключенные страницы", показываются все те же исключенные страницы, что и раньше. Хотелось бы видеть актуальные данные (то есть видеть 5 исключенных, а не 500).
Елена Першина
6 июня 2016, 17:25
kostin-stas,
Спасибо, что отметили эту странность в отображении информации. Посмотрим, как тут исправить, чтобы не возникало путаницы в восприятии!
А что случилось с плагином Яндекс.ПДС для CMS? Нет больше страниц по документации, а также не работает плагин.
Елена Першина
6 июня 2016, 17:27
Олег Н.,
Поиск для сайта перешел на новую технологию SaaS-поиска, которая создавалась для увеличения полноты и скорости индексирования, поэтому и пингер стал больше не нужен (раньше он решал эту задачу). На основе этой же технологии и был анонсирован новый Поиск для интернет-магазинов (бета-версия): https://yandex.ru/blog/yatechnologies/otkryta-zapis-na-beta-testirovanie-poiska-dlya-internet-magazinov
А можно вопрос по метрике? Вот с этим инструментом сегментиварония что стало в Яндекс метрике? http://zmoe.ru/wp-content/uploads/uvelichit-trafik-na-sajt.jpg 
Раньше я мог посмотреть по каким ключевым словам посещается статья, а теперь все изменилось и эта возможность пропала!
Елена Першина
9 июня 2016, 14:36
Andrey Todey,
Вот тут можно найти: https://yadi.sk/i/AiOkvBTxsNcJQ
Елена Першина,
спасибо, но вы так быстро все не меняйте, а то люди не успевают за полетом вашей фантазии ;)
Елена Першина
9 июня 2016, 17:12
Andrey Todey,
Ага, я коллегам из Метрики передала. 
А почему бы не добавить инструмент, который бы позволял избавляться от некачественных ссылок в вебмастере, как это сделано у гугла? Да и просто мусорных. Понятно что алгоритм Яндекса это все делает в автоматическом режиме, но так как Яндекс неповоротливый, то можно бы помочь роботу - по шустрее выкидывать мусорные ссылки при помощи рук вебмастера 
Елена Першина
6 июня 2016, 17:32
Иван,
У нас большие планы по развитию Вебмастера, так, был сделан раздел "Нарушения", где можно сообщить роботу, что все было исправлено (в том числе и сняты ссылки), но вот планов по созданию инструмента, описанного выше, пока нет. В первую очередь хочется делать инструменты для тех, кто не пытается заниматься обманом.
Елена Першина,
Такой инструмент нужен не для того что бы помочь обманщикам, а для того что бы выглядеть лучше в вашем поиске. Это как бы совсем наоборот. Сделайте этот сервис.
Елена Першина
16 июня 2016, 20:59
jkeks1,
Вот как раз это и пытаюсь понять - как это поможет быть сайтам лучше, кроме 404, о которых написано выше? 
Вебмастер, Яндекс любит Тебя.
Для чего градация в 85 тиц в Вебмастере ?
https://gyazo.com/e89988d142c7399a93601181886627c4
Это что шутка или просто график тяп-ляп сделали и бросили ?
Елена Першина
16 июня 2016, 20:59
jkeks1,
Я так понимаю, вы об этом спрашиваете: https://yandex.ru/blog/webmaster/obnovleniya-algoritma-rasch-ta-tits ?
Вопрос немного не по теме. Есть не актуальные, удаленные с сайта объявления, они проиндексированны, какой код ответа сервера отдавать при переходе на них? 404? 301?
Елена Першина
14 июля 2016, 20:08
tippula,
Обычно для удаленных страниц советуют 404 код ответа, но как вариант - 301 редирект на страницы категории, где раньше были объявления. Это позволит пользователям из поиска попадать на нужную категорию, а не просто на заглушку.
Данные у большинства сайтов частично или полностью откатились.
Что то отвалилось или решили откатить алгоритм частично назад?
https://s.mail.ru/8XxK/P544tUwHz
Елена Першина
14 июля 2016, 19:45
Павел,
Ничего не откатывали, нужно предметно разбираться, продублируете это сообщение в нашу поддержку? 
Григорий Манякин
23 июля 2016, 00:06
Здравствуйте, не могу найти тему, где можно задать вопрос...
Возник вопрос по индексации конструкции типа (индексации документов по этим ссылкам):

1. <li>
<span class="linksd" data-href="http://site.ru/page.html">Элемент меню</span>
</li>
2. <li>
<span class="linksd" data-href="http://site.ru/page.html" data-rel="nofollow">Элемент меню</span>
</li>


Обнаружили такой код после нескольких разработчиков и не поймем, что с ним делать

Я.Директолог
15 августа 2016, 13:14
А закрепление авторства текстов в Вебмастере действительно какие то привилегии сайту даёт? Или это для самоудовлетворения сделали копирайтеров сделали? Я просто пользовался одно время и такое ощущение, что страницы с загруженными туда текстами только хуже продвигались - речь о сайте bistro-credit.ru
У меня новый интерфейс вебмастера для сайта http://mobilang.ru выдает Поисковые запросы=> Статистика только по 11.08.2016 включительно. И это на сегодняшний день. Хотя раньше выдавал минус два дня от сегодняшней даты. А старый интерфейс сегодня выдал по 28.08.2016, а до этого выдавал по 07.08.2016. Производятся какие-то системные работы?
мне кажется старый был удобнее.
после выдачи можно было понять какие ссылки новые и где.
Сейчас последняя инфа по ссылкам неделю назад.

В Вебмастере уже 5 дней не обновляются данные хотя уже прошли 3 обновления баз данных, сайт velolike.com (все данные застыли на 08.11.16). Писал в поддержку пока ответа не дождался, написали что ждите ваше письмо получено. В старой версии таких глюков не было. Вот и жду странице в поиске уже 797 шт а в вебмастере до сих пор 1990 шт анализа провести никакого не могу так как нет данных для него. 
Вопрос по индексированию site:mywebpc.ru/&  показывает дулбли страниц причем по одному и тому же одинаковому URL. Нажал проверить в кэше одна страница открылась в кэше, другая нет. Было все нормально но теперь непонятно стало. В кабинете пишет что в поиске столько сколько нужно +-5 страниц но в поисковике выдают их в 1.65 раза больше. 
Обновлено 25 февраля 2017, 00:59
Елена Першина
27 февраля 2017, 00:22
myWEBpc,
Думаю, в URL все-таки отличия есть. Но лучше разбираться все-таки на конкретном примере вместе с поддержкой Вебмастера - обратившись напрямую через форму обратной связи (ссылка внизу страницы сервиса).
Елена Першина,
не нашел ничего путного(, может есть где живое обращение к специалистам?) у меня просто в кабинете веб-мастера  пишет, что в поиске 60, а когда набираю site:mywebpc.ru/& пишет 97. Ну я просто не понимаю тогда, инструмент вебмастера противоречит поисковику). перепроверил все: ситенам, роботс...... Наверное робот при переобходе облажался, мне кажется.
Елена Першина
27 февраля 2017, 19:44
myWEBpc,
У нас есть небольшие проблемы с работой оператора site сейчас, мы их исправляем. Просим ориентироваться в данном случае на Вебмастер.
Доброго времени суток, подскажите пожалуйста в связи с большой нагрузкой на сервер пришлось перенести часть сайта на другой сервер с поддоменом от первого. Соответственно у каждого теперь свой IP адрес. Можно-ли указать в robots или sitemap что второй сайт это продолжение первого. Или какие варианты еще существуют для их воссоединения))) Не хотелось-бы, что-бы Яндекс воспринимал их теперь как чуждые друг другу ресурсы))). Спасибо.
Елена Першина
Сотрудник Яндекса30 октября 2017, 22:46
ir-center.ru,
Поддомен воспринимается обычно как отдельный сайт. Но поддомен - это всего лишь адрес. Вы ведь могли бы и к одному домену просто увеличить количество серверов. Или вы зеркало на поддомене подняли? 
Елена Першина,


Елена, мой хостер сам настраивает DNS. Ваш совет приму к сведению и узнаю можно ли это осуществить. Сайты не зеркальные, смысл был разделить нагрузку на сервера, поэтому все вакансии расположены на одном сервере, а описания на другом. Сделал один ход конем, на поддомене inf.ir-center.ru  в  robots прописал host: ir-center.ru,........ не знаю как это оценится роботом Яндекса. У меня есть доказательства))))))))))))) что робот Яндекса сканирует сайт не по домену, а по IP адресу. Кстати Яндекс.Директ воспринимает поддомен как часть домена и предоставляет использовать ресурс как и домен. Подскажите варианты пожалуйста, не хочется терять миллион в индексе.
Елена Першина
Сотрудник Яндекса31 октября 2017, 16:14
ir-center.ru,
Вы ведь понимаете, что на одном IP адресе у некоторых дешевых хостингов может быть много, очень много сайтов? Так что тут речь о простой логике - так не работает. Есть хост, он индексируется. Поддомен и домен - это два разных хоста. Если вы на поддомене указываете хост домена как главное зеркало, то поддомен может испытывать проблемы с представлением в поиске. 
Обновлено 31 октября 2017, 16:14
Елена Першина,
 Да наверно Вы правы. Сайты все-таки сайты делаются для людей, а не для роботов. Человеку без разницы на каком хосте расположена страница, главное что-бы она была доступна для просмотра и получения информации. Чтож пусть индексируемая масса потихоньку перетекает со одного хоста на другой. Будем довольствоваться, тем что имеем. Спасибо.
Елена Першина
Сотрудник Яндекса1 ноября 2017, 11:25
ir-center.ru,
Я на всякий случай еще раз обращу ваше внимание на то, что http://inf.ir-center.ru/ сейчас с вообще отдает 403 код ответа. 
Елена Першина,
Да спасибо, подправлю. У него нет индексовой страницы, так как он все-таки остается частью сайта ir-center.ru.  А для самостоятельной единицы его необходимо пригладить)))
Кто посоветует что не так у меня с сайтом  и поможет решить проблему.
Сайт https://skinali.photo-clip.ru ему уже 4 года а индексе картинок 30 как так?
На сайте размещено больше 10000 изображений 
platon
Сотрудник Яндекса25 февраля 2019, 11:13
Эдуард,
напиши моим коллегам в службу поддержки, они подскажут.
platon,
Здравствуйте уточните пожалуйста куда именно написать ?
Почту или ссылку  где указанны контакты 
Михаил Бродецкий
11 июня 2019, 08:38

Смотрю сегодняшнюю сводку добавленных в поиск и удалённых страниц
своего сайта http:corchaosis.ru :



- /i.php?i=MyLittlePony/Common/Winter-Santa-NewYear.jpg Неглавное зеркало
+ /img/Animal/Rat/
+ /img/Bird/
+ /img/Bird/Crown/
+ /img/Bird/Crown/Girl/
+ /img/Bird/Eagle/
+ /img/Bird/Girl/
+ /img/Cosmos/MegaCar/
+ /img/Cosplay/Fallout/
+ /img/Cthulhu/


И так далее. И ничего не понимаю.


Страница http://corchaosis.ru/i.php?i=MyLittlePony/Common/Winter-Santa-NewYear.jpg работает. Она не "зеркало". Тем более - не "Неглавное зеркало". Почему она удалена?


Страницы  http://corchaosis.ru/img/Animal/Rat/  и все остальные 218 добавленных сегодня вашей системой страниц - не сущетсвуют. Это служебные каталоги, при попытке в них зайти из браузера пользователь ничего не увидит на экране.


Почему ваш робот сегодня добавил 218 пустых страниц сайта, а полезные - удалил?


Удивительная работа с дублями. Цитирую:


- /index.php?m=Crying
Дубль
06.06.2019 Фэнтези арт
Страница дублирует уже представленную в поиске страницу https://www.corchaosis.ru/index.php?dir=Mermaid/Ariel/PencilDraw. Укажите роботу предпочтительный адрес с помощью 301 редиректа или атрибута rel="canonical".


Каким образом робот посчитал, что страница http://corchaosis.ru/index.php?m=Crying является дублем для страницы http://www.corchaosis.ru/index.php?dir=Mermaid/Ariel/PencilDraw ??? Первая страница - это выборка по слову "Крик", вторая страница - это карандашные рисунки (PencilDraw) русалки по имени Ариэль. Они не дубли!!!!
platon
Сотрудник Яндекса11 июня 2019, 12:38
Михаил Бродецкий,
пожалуйста, напишите моим коллегам в поддержку через форму: https://yandex.ru/support/webmaster-troubleshooting/site-indexing/bad-indexing/missing-reasons.html , во всем разберутся и подскажут.