Как вы могли заметить, на майских праздниках во многих разделах Вебмастера появились плашки со ссылками на статьи о том, какие последние изменения были в том или ином инструменте.
Новый Яндекс.Вебмастер выходит из бета-режима и становится основной версией сервиса.
Старая версия сервиса будет поддерживаться еще несколько месяцев на домене old.webmaster.yandex.ru до тех пор, пока мы не убедимся, что все основные сценарии работы с сервисом сохранены и улучшены.
Обновленный Вебмастер включает в себя не только основные разделы старой версии сервиса, но и много новых возможностей, ранее доступных только в бета-версии:
- техническая диагностика сайта по нескольким десяткам основных параметров;
- отслеживание всех основных показателей, связанных с представлением сайта в поиске (показы, переходы, позиции и CTR);
- проверка страниц на мобилопригодность;
- проверка сайта на наличие нарушений, из-за которых он может быть понижен или ограничен в результатах поисковой выдачи;
- возможность указать страницы для приоритетного переобхода.
Разделы "Оригинальные тексты", "Входящие ссылки", "Валидатор XML" и "Удалить URL" пока остаются доступными только в старой версии сервиса, однако перейти на них можно и из новой версии. О добавлении этих разделов в новый Вебмастер мы расскажем дополнительно.
Ждём вашей обратной связи!
Команда Яндекс.Вебмастера
Поисковые роботы Яндекса перестают учитывать пустую директиву Allow как запрещающий сигнал в robots.txt.
Часто индексирующий робот не может получить доступ к сайтам из-за установленного по ошибке в robots.txt запрета на посещение всех страниц. Часть этих ошибок связана с использованием пустой директивы Allow:
User-agent: * Allow:
Ранее робот интерпретировал это правило как полностью запрещающее, что делало сайт недоступным для посещения роботов, и такие сайты не могли показываться в результатах поиска. Когда же владельцы сайтов намеренно хотели запретить посещение сайтов, они обычно четко прописывали команду запрета.
Поэтому мы решили изменить обработку роботом такой директивы - сейчас она игнорируется при обнаружении в robots.txt. Если на вашем сайте намеренно используются пустое правило Allow в robots.txt, то для того, чтобы робот корректно учитывал запрет, правило нужно изменить на директиву Disallow:
Disallow: *
Или
Disallow: /
Проверить, что разрешено, а что запрещено в robots.txt можно в Яндекс.Вебмастере. Рекомендуем обратить особое внимание на пустые значения для Allow - если нужно запретить индексирование, то их быть не должно.
Теперь ограничения в robots.txt работают еще надёжнее
Команда Поиска
8 июня произошло обновление алгоритма расчёта тематического индекса цитирования (тИЦ). Серьезным изменениям подверглись механизмы очистки ссылочного сигнала. Многие устаревшие показатели были исключены из алгоритма расчета.
Несмотря на то, что абсолютное значение тИЦ для каждого конкретного сайта могло измениться, общее распределение сохранило свои основные свойства. Другими словами, более авторитетные сайты по-прежнему имеют более высокие значения индекса.
В бета-версии Яндекс.Вебмастера произошли изменения, связанные с индексированием сайтов. Мы удалили из соответствующего раздела информацию о страницах, которые давно исчезли и уже «забыты» роботом. Теперь отображаемые в сервисе веб-документы максимально близко соответствуют «живому» индексу.
Запуская бета-версию Вебмастера, мы включили в неё больше связанных с индексированием данных, в том числе картинки и другие известные роботам файлы (css, js и т.п.), размещённые на сайтах пользователей, и попросили вебмастеров высказать своё мнение, нужно ли показывать такие сведения в интерфейсе инструмента. Судя по обратной связи, эта функциональность оказалась не слишком востребована, а иногда и вовсе приводила к путанице. Поэтому с обновлением Вебмастера информация об изображениях исчезнет из сервиса, а мы перестанем учитывать её при расчёте показателей сайта.
В результате нововведений число загруженных и исключённых страниц в разделе «Индексирование» может уменьшиться. Подчеркнём: это связано с обновлением и не значит, что робот стал хуже индексировать сайт или посещать меньше страниц.
Спасибо за вашу обратную связь, она помогает нам делать сервис лучше!
Команда Яндекс.Вебмастера
Приоритетный переобход страниц сайта появился в Яндекс.Вебмастере. Можно запросить переобход до 10 страниц в день для каждого подтвержденного сайта. Страницы, добавленные в этот инструмент, будут переданы индексирующему роботу для приоритетного обхода. Изменения, которые обнаружит робот, будут отражены в результатах поиска с ближайшими обновлениями поисковой базы.
В инструменте есть три статуса обработки заявки:
1) "В очереди" - это означает, что страница была передана роботу для обхода, и в течение 3 суток заявка будет обработана.
2) "Робот обошёл" - страница была посещена роботом, а данные о странице в поиске обновятся с последующими обновлениями поисковой базы.
3) "Ошибка" - робот не смог посетить страницу.
Этот инструмент будет полезен, когда нужно ускорить попадание в поиск новых страниц, например, с только что поступившим товаром или новостью, чтобы сайт стал находиться и по этим темам. Другой пример - нужно сделать так, чтобы текст в сниппетах был заменен на новый, уже обновленный непосредственно на самой странице. Кроме того, инструмент предоставляет возможность быстро вернуть выпавшие из поиска страницы из-за неправильной настройки сервера, ограничений в robots.txt или любой другой проблемы с доступностью сайта для индексирующего робота.
Делаем индексирование быстрее
Команда Яндекс.Вебмастера