Блог Яндекса для вебмастеров

Как быстрее всего рассказать поиску о новом ценном контенте

Пользователи (и поиск, конечно) ценят уникальный и полезный контент, который помогает решать задачи людей. Многие вебмастера пользовались инструментом «Оригинальные тексты», чтобы рассказать роботу о появляющихся на их сайтах текстах. Эти данные могли применяться, чтобы обучить алгоритмы отличать оригинальные тексты от заимствований.

C 15 сентября мы отключаем инструмент «Оригинальные тексты». Поисковые роботы оценят качество, ценность и оригинальность вашего контента. Задача вебмастеров — оперативно донести обновления сайта до робота. Это можно сделать двумя способами: через обход по счетчикам  Метрики или в разделе Переобход страниц в Вебмастере.

Обход по счетчикам Метрики

Обход по счетчикам Метрики — это способ оповещать поискового робота Яндекса об обновлениях сайта. Если включить обход по счётчику, робот получит сигнал из Метрики, как только на новую страницу придут первые пользователи. Благодаря этому, он сможет быстрее посетить страницу и проиндексировать её, если контент окажется качественным.

Как включить обход по счетчикам Метрики

1. Отправьте запрос на привязку счетчика к сайту в Вебмастере. Перейдите на страницу Настройки → Привязка к Яндекс.Метрике.

2. Нажмите кнопку Добавить счетчик. Укажите номер счетчика, к которому нужно привязать сайт. В настройках счетчика в Яндекс.Метрике должен быть указан адрес сайта, к которому вы привязываете счетчик.

Если и сайт, и счетчик принадлежат одному аккаунту, то привязка произойдет автоматически. Если нет — подтвердите запрос в Яндекс.Метрике. Перейдите в раздел Счетчик → Настройка и нажмите кнопку Подтвердить.

3.  Некоторые страницы нежелательно показывать в поисковой выдаче. Это могут быть страницы административной панели cms, статусы заказов в магазинах и какие-то другие малоценные или непубличные данные). Чтобы запретить индексацию таких страниц, ограничьте доступ к ним паролем или используйте возможности robots.txt, метатега или заголовка noindex. 

Посмотреть примеры страниц, которые могут попасть в поиск, можно в разделе Обход по счетчикам. Для этого нажмите кнопку Примеры страниц напротив счетчика, к которому вы привязали сайт. Узнать, участвуют ли в поиске нежелательные страницы, можно в разделе Страницы в поиске.

4. Включите обход напротив счетчика, который вы привязали к сайту.

Подробнее о том, как настроить обход по счетчикам, читайте в помощи Вебмастера.

Переобход страниц в Вебмастере

Это способ «пригласить»  робота на обновленные страницы для их индексации.

1.      Откройте в Вебмастере Индексирование → Переобход страниц.

2.      Укажите адрес обновленной страницы.

3.      Нажмите кнопку Отправить.

При следующем обращении к сайту робот в первую очередь посетит обновленную страницу. Количество адресов, которые можно добавить в обход для одного сайта в день, рассчитывается индивидуально и зависит от качества вашего сайта. Вы можете проверить свой лимит в разделе Переобход страниц.

P. S. Подписывайтесь на наши каналы
Блог Яндекса для Вебмастеров
Канал Яндекса о продвижении сайтов на YouTube
Канал для владельцев сайтов в Яндекс.Дзен

68 комментариев
Сергей Чубарев
15 сентября, 15:18
Ну, понятненько)
Умерло то, что и не работало никогда.
seonomad,
Это точно.
seonomad,
 То что мертво, умереть не может (c)
zakruti.com,
хахахахха 😂 
zakruti.com,
То, что не работало, заработать не может. (с) Яндекс
seonomad,
прямо с языка снял )))
seonomad,
лучше не скажешь!
Комментарий удалён
Дмитрий,
у бинга вообще 10000, вот к чему надо стремиться
platon
Сотрудник Яндекса15 сентября, 17:59
Дмитрий,
квота рассчитывается для каждого домена индивидуально и зависит от множества факторов, вручную изменить лимиты возможности нет.
Продолжайте развивать и наполнять ваш сайт уникальной и полезной информацией, в дальнейшем это может повлиять на увеличение лимита в инструменте.
platon,
Первый раз об этом слышу. Сейчас поспрашивал всех своих знакомых и у них тоже стоит лимит 20 страниц в сутки. Если тут есть кто-то у кого лимит больше отпишитесь, пожалуйста.
Хачатурова Надежда
15 сентября, 18:55
Дмитрий,
ну вот у меня на клиентском сайте лимит 90 страниц в сутки. Сссылку на скриншот даю. 
Дмитрий,
у меня вот сегодня 190 стало на одном из сайтов, где регулярно товары размещаю новые, правда до этого размещал несколько лет и было 20...
Дмитрий,
У меня было всегда 20 страниц, сегодня повысили до 200.
Обновлено 15 сентября, 22:56
Рощин Андрей
16 сентября, 09:17
Дмитрий,
Почитал камемнты, заглянул к себе: подняли с 20 до 30. А где-то - до 120.
Вангую: это с ИКС связано ( у меня корреляция налицо)
Обновлено 16 сентября, 09:19
Костиков Кирилл
17 сентября, 17:22
Рощин Андрей,
с иксом не связано
коммерческий сайт, икс 90, кол-во страниц на поиске 150 000


знаете какое кол-во страниц доступо для переобхода? - 150! КАРЛ СТО ПЯТЬДЕСЯТ на общее кол-во страниц на сайте в СТО ПЯТЬДЕСЯТ ТЫСЯЧ
Костиков Кирилл,
120 страниц стало на 450 страниц сайта
Дмитрий,
210 дневной лемит на домен и поддомены, у нас домен под 2 000 страниц и 7 поддоменов....
Дмитрий,
лимит 170 страниц
Игорь Фанзилович Харисов
15 сентября, 20:19
Дмитрий,
Добрый день! У меня дневной лимит 190 адресов для сайта (включая основной домен и все поддомены).
Дмитрий,
у меня 200 страниц в сутки даю ссылку на сайт https://sud-isk.ru/ Суд иск ру. Думаю есть более пузатые проекты в этом отношении. В среднем на моих сайтах лимит 130-150 страниц в сутки для переобхода. 
Обновлено 15 сентября, 22:07
_OVR_,
мамкин линкбилдер
Denis,
не все ли равно?
1. От функционала "Оригинальные тексты" никогда не было никакого толку - потому что, когда к Вам обращаешься с жалобой, что твой контент кто-то украл, Вы отвечаете что не обладаете  компетенцией определять первоисходник и отправляете на ... самостоятельно разбираться с этой проблемой и вебмастерами-мудаками.
Максим Н.,
если ты разместил статью, это не значит что она твоя. 
Ванька,
если я её написал с головы, значит она моя!
Хачатурова Надежда
15 сентября, 19:00
Максим Н.,
не могу утверждать, что помогли именно скрины из оригинальных текстов, потому что прилагались и другие доказательства того, что статьи появились впервые на управляемом мной сайте, но хостер воров прижучил. Удалили страницы.
Хачатурова Надежда,
тут вроде не хостеров обсуждали, а работу яндекса. Хостинги и так всего боятся и готовы отключать сайты по первому тербованию.
У инструмента "Обход по счётчикам" - есть недоработка, он не понимает/не умеет работать со 100% зеркалами сайта


Например этот инструмент не работает в ситуации, когда 
- ПС получается для индексации domain.com/url.html
- а человеку временно (302 редирект) отдается зеркало через поддомен abc. domain.com/url.html
- при этом если Яндекс заходит на поддомен abc. domain.com/url.html он автоматом получает 301 редирект на domain.com/url.html
platon
Сотрудник Яндекса15 сентября, 20:23
Максим Н.,
если поисковому роботу будет известна ссылка, в том числе с перенаправлением, то робот сможет обращаться к ней и проверять на доступность. Поэтому, если в дальнейшем страница будет уже доступна, робот сможет обойти ее и корректно проиндексировать.
platon,
Как мне кажется, Ваш ответ не про это.
Ситуация такая: когда и ПС и люди получали domain.com/url.html весь новый контент быстро заходил в поисковую выдачу, через быстроробота с пометкой даты добавления, когда за 5 минут после выкладки, когда в течение пары часов, но я это реально видел.

Когда возникла необходимость в редиректной схеме с зеркалом сайта через поддомен, быстроробот перестал вносить новый контент в выдачу. Теперь новые страницы я вижу только когда они проиндексируются и добавятся в выдачу основным ботом, в промежутке 3-5 дней, а не в течение 5-120 минут, как было ранее.
platon
Сотрудник Яндекса15 сентября, 22:38
Максим Н.,
к сожалению, не можем дать гарантию, что все страницы, о которых робот узнает по обходу из Метрики, будут сразу включены в поиск. Сроки включения страниц обусловлены большим числом факторов, поэтому одни страницы могут попадать в поиск раньше других. Это не ошибка, а особенность процесса индексирования.
В контексте описанной выше ситуации отмечу, что если какие-то ссылки при первом обращении робота выполняли редирект на другие страницы, это тоже может повлиять на скорость их включения в поиск. Для наиболее быстрого включения в поиск страницы должны быть доступны сразу и всегда, как только они были опубликованы на сайте.
Если ситуация с какими-то конкретными страницами непонятна, вы можете написать нашим коллегам в службу поддержки: https://yandex.ru/support/webmaster/troubleshooting/site-indexing.html#site-indexing . Обязательно пришлите примеры страниц, чтобы мои коллеги могли их изучить
Круто конечно но толку с этого переобхода ни какого. Ну а уникальным текстам земля конечно же пухом. Скорбим
Рощин Андрей
16 сентября, 09:21
TRUE,
можете примерчик про "толку никакого" привести? Я, просто, ни разу отсутствие толка не замечал...
Есть сайты с лимитом  на переобход 120-160 страниц. Однако чаще большой лимит нужен для нового сайта или сайта, которым никто не занимался и приходится оперативно разгребать авгиевы конюшни. В результате иногда требуемые 50-100 страниц приходится делить на 3-5 порций.
Переобход по счётчику Метрики не решит проблему, а только создаст новую, т.к. что-нибудь окажется не закрытым в robots.txt, особенно когда на сайте много фильтров и вариантов страниц с get-параметрами.
platon
Сотрудник Яндекса16 сентября, 08:09
Oleg,
для каждого домена количество страниц, которые можно отправить на переобход с помощью инструмента в Вебмастере, рассчитывается индивидуально.
Отмечу, что добавление страниц на переобход и использование обхода по счетчику Метрики — не единственные способы помочь роботу быстрее узнавать о страницах. Наши дополнительные рекомендации на этот счет вы можете найти на странице Справки: https://yandex.ru/support/webmaster/recommendations/indexing.html
Что касается посещения каких-либо ссылок с get-параметрами на сайте после включения обхода по счетчикам, если на сайте есть страницы с такими параметрами, робот вполне может найти их и без использования обхода по счетчикам. Такой вопрос стоит решать системно: посмотреть примеры ссылок в инструменте обхода по счетчикам Метрики и статистике обхода, чтобы ограничить их индексирование.
platon,

Подскажите,  где смотреть свою квоту в веб мастере? 
daitres,
 Вебмастер -> Индексирование -> Переобход страниц -> Под полем ввода урл указан лимит.
П.С.: 450 у меня
Александр Гудзовский
15 сентября, 20:39
С отключением инструмента "Оригинальные тексты" умрет наконец робкая надежда на защиту авторских прав Яндексом.
Но с другой стороны наступит ясность, и не надо будет вэбмастерам  в пустую тратить время на заливку текстов.
Александр Гудзовский,
да не было никогда этой защиты! она всегда была мнимой и бесполезной работой по добавлению текстов.
После того, как мне Яндекс однажды сказал, что они вопросами уникальности и определения первоисточника не занимаются, я перестал добавлять тексты в этот инструмент...
Обновлено 15 сентября, 21:22
Александр Гудзовский,
яндекс никогда не защищал авторские права, хоть и косвенно способствовал защите.
Теперь шаблоны претензий придется переписывать(
Михаил Алфёров
15 сентября, 20:56
Давно пора.
Нельзя ли для отслеживания важных страниц увеличить квоту?
А то 100 страниц маловато :(
Ого! До сегодняшнего дня у меня лимит на переобход страниц в вебмастере был всего 20 страниц. А сейчас 199. Агонь! И переобход по счётчику - годная фишка Остаётся надеется, всё это дело будет работать не хуже, чем прежний инструмент "оригинальные тексты". Не часто Платон балует годными фишками. Респект!))
Хорошее нововведение. Лимита в 20 текстов в день для постоянно наполняемых сайтов постоянно не хватало.
Вопрос по "Переобход страниц":


То есть это нормальная практика отправлять на Переобход новые страницы?


Название инструмента сбивает с толку. Казалось бы переобойти можно только страницы которые уже есть в поиске. А новую страницу нужно "обойти" или "пройти по ней".


По названию кажется, что глупо будет переобходить страницы, которых ещё нет в базе Яндекса.
Обновлено 16 сентября, 06:29
Умерло или нет, но косвенную свою функцию оно выполняло, хотя в том плане, если были суды по контенту - суд легко принимал нашу сторону, так как контент у нас по датам появлялся первым. Теперь же придется заказывать всегда на биржах, чтобы подтвердить право на владение контентом в суде.
ema@dextra.ru,
нет, письмо самим себе с документом на почту решает проблему, если вы автор контента, но крепить его придется с отчетом о проверке на антиплагиат.
Что, контентно-помойкам стало стыдно в дзен постить копипаст?  А вебмастера, понимаешь, начали донимать техподдержку?
Ну хоть квоты на переобход увеличили.
ясно, пойду посру

ДискоМаркет
16 сентября, 16:39
Яндекс любит жестко заставлять вебмастеров играть по нужным им правилам. И делает это грубо и по хамски. Чего стоят турбо страницы, напоминание о них лезет изо всех щелей, хотя технологие сырая, кривая, особенно для интернет магазина. Теперь вот сделали обход по счетчику метрики и громадную напоминалку постоянно показывают в разделе "Обход страниц". Они настолько агрессивно это делают, что даже подключив этот обход, эта напоминалка не пропала.
Неприятное ощущение от всего этого.
Суть Оригинальных текстов была не в сообщении Яндексу о новой странице, а о фиксировании прав на первоисточник текста. А теперь что? ??
Если я размещу оригинальный текст на странице и сразу же подам на Переобдход - текст с нее будет учитываться как первоисточник?
webpr.seo.team,
во во во. А теперь шлем текст самим себе на почту, чтобы потом махать им в суде.
Это всё конечно прекрасно, но что на счёт поддоменов, друзья?

Есть Метрика в которой учитываются все поддомены сайта (а их не пару штук), соответственно код счётчика на них один. Обход по счётчикам был давно включен для основного домена. Теперь, при попытке включить эту функцию для любого поддомена получаем ERROR: "В настройках указанного счетчика добавлен другой хост."


Ставить отдельный счётчик на каждый поддомен - нерационально.

Need to fix.
То что мертво, умереть не может. 
Диджитал Маркетинг
16 сентября, 22:04
У нас на https://marketings.marketing 190 страниц. До введения изменений ограничение в 20 было, как у всех. Не вижу связи между иксом и количеством переобходов. С количеством и частотой публикаций нового контента- вижу. 
Обновлено 16 сентября, 22:05
Раньше лимит на переобход было 20 страниц, сейчас добавили - 190.
Все с этим перееобходом чудесно, кроме одного. Когда у нас сломался код метрики (и на выходных счетчик не работал), яндекс выкинул 88% страниц из поиска. Алгоритмы на грани фантастики просто.  Какова черта наличие счетчика стало ключевым фактором ранжирования? ссылочка на пруф https://prnt.sc/uiow6y
Вы меня извините, но вы не очень умно поступили.
Вэбмастера использовали "Оригинальные тексты" еще и для фиксации уникальности контента как дату добавления материала. Это как бы помогало в суде вместе с оригинальностью от проверок на антиплагиат. Право первой ночи, так сказать. 
А теперь получается что мой авторский текст может украсть кто угодно и если я не фиксанула его обратным письмом самой себе, то более шустрый сайт просто выкачает мой текст себе и станет первым.
Вы адекватные вообще?
В принципе можно вообще вебмастер упразднить, все равно все топы занимают сервисы Яндекса и скоро их будет еще больше, толку тогда от вебмастера. Сколько не улучшай инструменты траф основной все равно идет на дзен, кью и еще сотни других сервисов, которые гвоздями прибиты к топу. По сути выдача Яндекса это реклама и его сервисы и немного обычных сайтов, думаю в будущем все 10 позиций будут за Яндекском. 
Обновлено 19 сентября, 11:28
L1114J,
Яндекс превращается в  поиск по Яндексу, это уже факт. При этом информация часто неполная или ложная.
Супер, столько времени потрачено впустую, так держать. Спасибо за уважение.
Оригинальный и уникальный контент давно уже не в почете у Яндекса... В поиске много воров, нахватавших куски с чужих сайтов. Зачем нужны эти мусорные сборки рецептов и мастер-классов, в которых ради уникальности меняют важную информацию? Готовить по ним нельзя, делать какие-то изделия более. Зашел - вышел
Сергей Гузов
вчера, 10:00
давно пользуюсь данным методом
ГРАД-СТРОЙ
вчера, 11:39
опять все новое опять все переделывать!!!