Покажем вам популярные инструменты и подскажем, какой из них подойдет в конкретных ситуациях.
В последнее время мы работали над тем, чтобы сделать роботов Яндекса еще более функциональными и повысить прозрачность их работы. Спешим рассказать вам о нескольких важных обновлениях.
Если указать одинаковые теги title и description для разных страниц сайта, пользователям будет сложно разобраться, на которую страницу переходить. В Вебмастере появились новые инструменты, которые помогут быстро найти страницы с дублирующимися тегами title и description. Расскажем о них подробнее.
Видео — яркий визуальный контент, с ним ваш сайт будет привлекать больше внимания в поисковой выдаче. Чтобы ваши ролики отобразились в результатах поиска, они должны индексироваться Яндекс.Видео.
Если вы не пользовались мониторингом важных страниц, потому что вам было некогда вручную добавлять в отслеживание ключевые страницы, — у нас для вас хорошая новость. Мы ценим ваше время, поэтому автоматически добавили в мониторинг важные страницы: главную и те, изменения которых считаем, что будут важны для вас. Чтобы отслеживать изменения других страниц — нажмите кнопку «Отслеживать» напротив их адресов или добавьте URL вручную.
Часто на сайтах присутствуют страницы с разными URL, но с одинаковым или очень похожим содержанием. С помощью атрибута rel=«canonical» вебмастера могут указать, какая страница является «канонической» — предпочтительной для индексации и появления в результатах поиска. Остальные, неканонические версии как правило в поиск не попадают.
Наши исследования показывают, что страницы, размеченные как неканонические могут быть полезны, а их наличие в поиске может влиять на качество и полноту ответа на запрос пользователя. Например, если для темы форума владелец сайта указал канонической страницу с началом ветки, то многие важные и нужные ответы, которые были даны пользователями позже, в поиск не попадают. Другой пример: бывает, что какое-то литературное произведение разбито на страницы и в качестве канонической прописана первая страница. В результате сайт не находится по запросу-цитате, соответствующей тексту за пределами первой странице. Поэтому теперь в поиске неканонические страницы будут появляться чаще.
Поисковые роботы Яндекса перестают учитывать пустую директиву Allow как запрещающий сигнал в robots.txt.
Часто индексирующий робот не может получить доступ к сайтам из-за установленного по ошибке в robots.txt запрета на посещение всех страниц. Часть этих ошибок связана с использованием пустой директивы Allow:
User-agent: * Allow:
Ранее робот интерпретировал это правило как полностью запрещающее, что делало сайт недоступным для посещения роботов, и такие сайты не могли показываться в результатах поиска. Когда же владельцы сайтов намеренно хотели запретить посещение сайтов, они обычно четко прописывали команду запрета.
Поэтому мы решили изменить обработку роботом такой директивы - сейчас она игнорируется при обнаружении в robots.txt. Если на вашем сайте намеренно используются пустое правило Allow в robots.txt, то для того, чтобы робот корректно учитывал запрет, правило нужно изменить на директиву Disallow:
Disallow: *
Или
Disallow: /
Проверить, что разрешено, а что запрещено в robots.txt можно в Яндекс.Вебмастере. Рекомендуем обратить особое внимание на пустые значения для Allow - если нужно запретить индексирование, то их быть не должно.
Теперь ограничения в robots.txt работают еще надёжнее
Команда Поиска
В бета-версии Яндекс.Вебмастера произошли изменения, связанные с индексированием сайтов. Мы удалили из соответствующего раздела информацию о страницах, которые давно исчезли и уже «забыты» роботом. Теперь отображаемые в сервисе веб-документы максимально близко соответствуют «живому» индексу.
Запуская бета-версию Вебмастера, мы включили в неё больше связанных с индексированием данных, в том числе картинки и другие известные роботам файлы (css, js и т.п.), размещённые на сайтах пользователей, и попросили вебмастеров высказать своё мнение, нужно ли показывать такие сведения в интерфейсе инструмента. Судя по обратной связи, эта функциональность оказалась не слишком востребована, а иногда и вовсе приводила к путанице. Поэтому с обновлением Вебмастера информация об изображениях исчезнет из сервиса, а мы перестанем учитывать её при расчёте показателей сайта.
В результате нововведений число загруженных и исключённых страниц в разделе «Индексирование» может уменьшиться. Подчеркнём: это связано с обновлением и не значит, что робот стал хуже индексировать сайт или посещать меньше страниц.
Спасибо за вашу обратную связь, она помогает нам делать сервис лучше!
Команда Яндекс.Вебмастера