Блог Яндекса для вебмастеров

Хардкорные обновления Вебмастера: API 4.0, новая проверка robots.txt, поддоменов

В последнее время в Вебмастере мы создали много инструментов для аналитиков, маркетологов и владельцев бизнесов. Даже первый сегодняшний анонс был связан именно с этой темой — обновлённые Тренды. Однако для нас всегда было очень важно поддерживать расширенную функциональность для тех, кто занимается технической стороной оптимизации сайта. Поэтому сегодня мы запустили:

Обновлённое API Вебмастера версии 4.0
В нём поддержаны:

  • данные об обходе;
  • данные о страницах в поиске и исключённых страницах;
  • события в диагностике;
  • инструмент переобхода страниц;
  • доставка данных для Турбо-страниц

Мониторинг изменений в robots.txt
Одна из самых частых и крайне неприятных проблем при индексировании сайта — это непреднамеренные изменения в robots.txt. Этот файл и затирают, и выкатывают тестовую версию с полностью закрытым для индексирования сайтом, и, наоборот, открывают для поиска разделы, находящиеся в разработке или содержащие техническую информацию. Для того чтобы отслеживать все подобные изменения, мы запустили мониторинг изменений в robots.txt. Теперь мы храним последние 100 версий robots.txt за полгода в разделе «Анализ robots.txt» и предупреждаем об изменениях в файле всех, кто захотел подписаться на данный тип уведомлений.

Мониторинг поддоменов
Другой пример проблемы, очень близкой к описанной в предыдущем пункте: попадание в поиск служебных поддоменов или тестовых версий сайтов. Иногда это происходит из-за некорректных обновлений robots.txt, а иногда — из-за сбоя в настройках сайта или необдуманных действий разработчика. Теперь мы оповещаем и о таких случаях, они также были добавлены в уведомления, на которые мы рекомендуем подписаться.

Команда Вебмастера

P. S. Подписывайтесь на наши каналы
Блог Яндекса для Вебмастеров
Канал Яндекса о продвижении сайтов на YouTube
Канал для владельцев сайтов в Яндекс.Дзене

69 комментариев
Насчет истории robots-txt — Молодцы!
Елена Першина
Сотрудник Яндекса19 декабря 2018, 14:23
sezonigoda,
старались ) 
Елена Першина,
Добрый день! Спасибо за старания. Мы их оцениваем, поверьте!)))
Заметил, что Яндекс стал часто ошибаться в определении релевантной странички. Как нам явно помочь Яндексу определять именно "ту" страничку ?
Елена Першина
Сотрудник Яндекса21 декабря 2018, 12:44
trustttt,
примеры нерелевантных блоков в саппорт можно присылать. Буде изучать. 
Семен Семёныч
19 декабря 2018, 14:17
Кнопку "скачать" добавили, а кнопку "загрузить" (не помню точно как она называлась) убрали. Может переобход robots.txt по запросу сделаете? А то у меня такое ощущение, что робот его не сильно часто обходит. Или я не прав?
Семен Семёныч,
При надобности можно добавить его в ручную на переобход в Вебмастере и никаких проблем.
Семен Семёныч
19 декабря 2018, 19:22
Максим Б.,
В переобход можно добавить страницу, для файла robots.txt я такой функции не припомню.
Александр Шара
19 декабря 2018, 23:17
Семен Семёныч,
да заходите в раздел "Анализ robots.txt" и жмакаете кнопку "проверить".
Семен Семёныч
20 декабря 2018, 01:01
Александр Шара,
Да при чем тут это? Какой толк от этого действия? Типа после этого он сразу новую версию учитывать начнет.
Александр Шара
20 декабря 2018, 10:12
Семен Семёныч,
f вы хотите тут и сразу? так не было и не будет! 
Семен Семёныч
20 декабря 2018, 13:53
Александр Шара,
Зачем вы пишите невпопад? Вы даже сути вопроса не понимаете, но продолжаете что-то утверждать:)
Александр Шара
20 декабря 2018, 16:31
Семен Семёныч,
вы продолжаете тупить, вам я написал, что кнопка "проверить", это по сути запуск обхода роботом, а моментально робот вас слушать не будет, как бы вы тут не распинались ;)
Ага...и тут же склеили половину поддоменов на сайте, при чем по кнопке расклеить никаких возражений не возникло...якобы вебмастер получил информацию по справочнику...блин...в справочнике все точно...склеиваете за 1 день, расклеиваете 3 недели а потом еще переиндексации ждать...почему у гугла нет такого?
info@advirtag.ru,
Да у Google вообще особо то ничего нет. Индексирования, выдачи, Тех. поддержки, Скорости проверки изменений. У Google есть только сомнительный форум для "веб мастеров". Причем у меня полное ощущение инфо - цыганства. Зато выкрики - Поисковик №1. Так и хочется дописать для кого он №1. ( Слова всем знакомые, но вслух неприлично ) 
Обновлено 20 декабря 2018, 05:36
tuezov52,
где тут лайк ставить!)))) 
tuezov52,
так-то у гугл обход страниц и индексация побыстрее будет, чем у яндекса.
А "Поисковик #1" видел в явном виде только у Яндекса, причем на страницах выдачи, ну хоть убрали сейчас. А где так написано у гугла? Ни разу не видел.
kuzmina.ol2016,
У Google индексация побыстрее? Мб он тогда уже проиндексирует мой сайт. Яндекс уже 2 года в гамаке курит. Индекс 100%. А гугл даже mail обогнать не может. Если я ошибаюсь, готов в лс проверить Вашу теорию на практике.
tuezov52,
Вообще-то быстрая индексация у Google. И у Яндекс тоже достаточно быстрая стала в последние полгода. Если вы имеете ввиду не индесацию, а "внести сайт в поиск" (т.е. ПС принимает вашу страницу релевантной запросу, и ваш сайт появляется хотя бы в первой сотне поисковой выдачи), то это совсем другая история. И у каждой ПС - это достаточно индивидуальный процесс. 
А именно сама индексация, когда бот прошелся по вашему сайту - достаточно оперативна у обеих ПС.
Алексей,
Я имею ввиду индексацию - именно страниц в поиске. Цель - именно страница в поиске ( не зависимо от позиции ). А то, что робот пришел. Ну и что? Либо он выполняет цель, либо нет. Я могу так же написать:  "Ну это равносильно показу страницы без контента. Пользователь ведь пришел. Значит все ок."; 
Дмитрий Иванов
1 мая, 18:31
trustttt,
такая же мысль посетила! Лайк. Гугл из поисковика стал тупо коммерческим сайтом, с невероятно дорогой рекламой за клик.. 
Спасибо, за информацию
А что стало с лимитами на переобход страниц? Ещё буквально несколько дней назад было 130 страниц в сутки, теперь 20, "чушь петровна" какая-то

DragonHT,
всегда было 20, 130 ни разу не видел еще.
DragonHT,
Тоже такое видел, было больше 100 страниц
в robots.txt не помешало бы сделать сохранение тестовых урлов.
Чтобы вот внес что-то новое - подгрузил сразу 200 урлов и посмотрел, что заблокировано, а что открыто.
Спасибо Вам))))
Друзья, прошу подсказки.
На днях вебмастер указал мне на то, что один из моих, только что зарегистрированных, доменов признан дорвеем, потому что делает 301 редирект на свой поддомен .

Тогда у меня возник вопрос, почему ресурс savefrom[.]net не признан дорвеем и по сей день в выдаче его поддомены? 
Ведь по Я.Правилам "Сайт должен отвечать на запрос посетителя, предоставлять различную информацию и услуги, а не только перенаправлять на другие ресурсы."

(https://yandex.ru/support/webmaster-troubleshooting/threats/doorway.html)
Может тут подскажут, так как Платон ответил стандартной фразой =(
Обновлено 21 декабря 2018, 10:31
Елена Першина
Сотрудник Яндекса21 декабря 2018, 12:46
savproga,
Платон очень хорошо отвечает на такое обычно. Если вы купили сайт, который был раньше под нарушением, и нарушение исправлено - напишите в поддержку или отправьте сайт на перепроверку.  


Жалобы на спам традиционно принимаются через форму: https://yandex.ru/support/search/troubleshooting/delspam.html 
Елена Першина,
большое спасибо, за ответ, Елена! Как я написал выше, эта санкция наложена вебмастером на новый домен и абсолютно новый сайт. Новый домен делает 301 редирект на свой же поддомен. Платон ответил, цитата "Каких-либо сбоев в работе алгоритмов не обнаружено"


Отсюда и вопрос, почему другой (не мой) ресурс savefrom[.]net, который делает ровно такой же редирект на свой поддомен до сих пор в выдаче и не признан дорвеем(ведь по Я.Правилам "Сайт должен отвечать на запрос посетителя, предоставлять различную информацию и услуги, а не только перенаправлять на другие ресурсы.")? 


P.S. Говоря слово "Новый домен", означает, что я проверил WHOIS историю и web archive[.]org

Обновлено 21 декабря 2018, 13:02
В одном вебмастере несколько сайтов. Вдруг ни с того ни с сего В одном из сайтов появляется сайтмап другого и пишет, что это прописано в robot.txt. Сто раз проверил. Полная туфта! Яндекс путает сайты. В результате сайт стоящий незыблемо в течение трех лет на первой позиции падает на восьмую! БРАВО!!! Я уже промолчу о жадности!
Елена Першина
Сотрудник Яндекса21 декабря 2018, 19:33
vgrig-x,
тут недавно появилась возможность просматривать несколько версий robots, попробуйте в них проверить. 
Писал в техподдержку давненько, что некорректно работает определение мета-тегов description. Мета-теги есть а проверка показывает, что его нет ((  И так постоянно!
Приятная новость, Яндекс заботится не только об выдаче, но и о веб-мастерах. Посмотрим как все будет на деле. Молодцы!
Спасибо.
А подскажите, когда вы допилите нормальный переезд с поддоменов на подпапки? (раньше отдельные страны были на поддоменах, условно ru.site.biz, а теперь переехали на site.biz/ru-ru/)
Постоянно выдает ошибку(
Елена Першина
Сотрудник Яндекса22 декабря 2018, 14:33
allbiz-seo,
переезд-то работает, а вот в чем конкретно у вас проблема - лучше через поддержку уточнить. 
Смешной у вас поисковик .:))) http://priscree.ru/img/620d3c63aa6c80.png
Появилась ошибка - Турбо-страницы сайта не соответствуют рекомендациям: контент Турбо-страниц должен повторять содержимое страниц сайта и не противоречить требованиям. Иначе Турбо-страницы попадут под фильтр и пропадут из поиска через две недели (вместо них будут отображаться оригинальные версии страниц).


Все отличие - на веб версии есть меню по странице (прокрутка к нужному H2-H4)а в турбо нет. Начал передавать меню в RSS - само меню сформировалось криво - показывает на сайт, так как елементы ID не проходят валидацию.


Поддержка предлагает сделать аккордеон - но его на сайте то нет - опять несовпадение будет. Жаль, что для этого сайта недоступен автопарсинг - все бы и решилось.


Не знаю уже куда писать, поддержка отвечает почти раз в неделю, так проблему долго решать можно(
Елена Першина
Сотрудник Яндекса24 декабря 2018, 14:53
sashayad,
Турбо-страница должна визуально соответствовать основной: если какой-то элемент настроен на основной странице, на Турбо-версии он тоже должен быть. Так что меню все-таки нужно поддержать, а как это лучше сделать, можем через поддержку обсудить. 
Елена Першина,
 Сейчас я передаю в rss меню в том-же виде, что и на сайте и оно даже отображается, но ссылки не корректны. Проблема видимо в том, что турбо страницы не умеют обрабатывать относительные ссылки, используемые в меню


В тикете давно пытаюсь решить, Ticket#18121109490816789
girfanovdameer
9 апреля, 07:58
Добрый день, ну про robots.txt все "понятно" )) Я вот ищу ответ на вопрос как полностью проанализировать сайт, его работу, не могу найти у яндекса на этот вопрос ответ, может тут подскажите.
platon
Сотрудник Яндекса9 апреля, 08:31
girfanovdameer,
есть Яндекс.Вебмастер же :)
girfanovdameer
9 апреля, 13:44
platon,
Спасибо, про него знаю
webmarketinggroup
9 апреля, 13:46
girfanovdameer,
Яндекс.Вебмастер и ещё куча разных анализаторов в интернете есть 
girfanovdameer
9 апреля, 13:46
webmarketinggroup,
Спасибо, про я.вебматер знаю, еще варианты может быть есть.
webmarketinggroup
9 апреля, 13:56
girfanovdameer,
Просто забиваете в поисковой строке, анализатор сайта и все, у нас на сайте можете посмотреть http://webmarketinggroup.ru в шапке кнопка "онлайн анализ"
Артур
1 мая, 13:52
Молодцы!
Елена Першина
Сотрудник Яндекса5 мая, 23:23
Артур,
мы старались ) И всегда открыты к новым предложениям. 
Анатолий
20 июня, 06:48
А есть у кого самый лучший robots.txt для phpBB 3.2.7 версии
Анатолий
20 июня, 06:55
Нужен роботс.тхт для моего сайта http://votwap.ru
Обновлено 20 июня, 11:13
Елена Першина
Сотрудник Яндекса20 июня, 11:14
Анатолий,
скрипт ищите? 
Franch Group
27 июня, 16:30
Спасибо, очень информативно!
Елена Першина
Сотрудник Яндекса1 июля, 11:26
Franch Group,
старались! 
perevozkin.74
5 июля, 15:22
И именно поэтому мне на все сайты пришло такое письмо: «При последнем обращении к файлу robots.txt сайта ***.ru наши роботы обнаружили, что сайт закрыт для индексации. Убедитесь в корректности файла robots.txt, иначе сайт может полностью пропасть из поиска.»? Раньше было всё нормально, а теперь критическая ошибка???
Елена Першина
Сотрудник Яндекса8 июля, 10:48
perevozkin.74,
Обновление уже было достаточно давно. так что с ним что-то, что случилось только что, не связано. лучше в поддержку Вебмастера напишите, чтобы уточнить, в чем проблема. Ссылка на форму обратной связи внизу страницы сервиса.
Странное поведение механизма - раз в месяц для всех сайтов присылает сообщение что роботс.тхт изменился. В панике бегу проверять - все как было. 
Елена Першина
Сотрудник Яндекса23 июля, 14:45
kodji,
будем рады посмотреть на пример такого оповещения через поддержку Вебмастера.  
Елена Першина,
куда вы опять перепрятали форму обратной связи? Не могу найти. В фб кину скриншоты, ок?
Елена Першина
Сотрудник Яндекса23 июля, 21:26
kodji,
ссылка на форму обратной связи внизу Вебмастера. 
Обновлено 25 июля, 10:37
Елена Першина,
вчера не было) отправил скрины
Елена Першина
Сотрудник Яндекса25 июля, 10:37
kodji,
было, главное заходить под тем же логином, под каким сайт у вас в Вебмастере подтверждён. 
изменилось основное зеркало на иное чем прописано в роботс .... зачем? почему?
platon
Сотрудник Яндекса6 сентября, 14:52
zelenschik-rf,
дело в том, что поддержка директивы Host прекращена, поэтому наш робот не учитывает такое указание на главное зеркало. Для выяснения причин смены главного зеркала вашего сайта напишите, пожалуйста, моим коллегам в поддержку: https://yandex.ru/support/webmaster-troubleshooting-info/mirrors.html
Сувениры VIP Подарки
11 сентября, 03:57
Как странно что после этих нововведений в Вебмастере появилась проблема "Не найден файл robots.txt", хотя он есть и не менялся более года. В чем проблема?
platon
Сотрудник Яндекса25 сентября, 14:52
Сувениры VIP Подарки,
напишите, пожалуйста, моим коллегам в службу поддержки https://yandex.ru/support/webmaster-troubleshooting/site-indexing/robotstxt-other.html
А почему вебмастер удаляет файл роботс?? Файл был загружен еще 5 лет назад и его никто не трогал и он в корне сайта, и тут приходит письмо что его нет, вношу руками все ок, через 3 минут его нет в вебмастере, что за дела??
platon
Сотрудник Яндекса11 ноября, 09:48
u-svett,
пожалуйста, напишите моим коллегам в поддержку https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html , посмотрят, в чем дело.
Изменил robots.txt, при этом сделал Disallow для некоторых страниц. После сохранения файла robots.txt в течение нескольких часов обнаружил, что робот все равно обходит закрытые в robots.txt страницы. 
Как сообщить роботам, что robots.txt изменился? 
platon
Сотрудник Яндекса12 ноября, 09:51
e.feshin,
роботу не нужно дополнительно сообщать об изменениях в файле robots.txt, поскольку этот файл посещается первым при обходе сайта, и в дальнейшем робот руководствуется именно актуальными указаниями из robots.txt.
Если вы видите в статистике обхода, что робот посетил страницы, которые вы закрыли несколько часов назад, скорее всего это значит, что робот посетил их до установления запрета, поскольку информация в Вебмастере обновляется после обновления поисковой базы.
Вы можете прислать моим коллегам в поддержку примеры ссылок, мы рассмотрим ситуацию более подробно. Если у вас остались вопросы, напишите нам, пожалуйста: https://yandex.ru/support/webmaster/robot-workings/allow-disallow.html