Блог Яндекса для вебмастеров

Как ускорить обход страниц при помощи Метрики?

Пост в архиве.

Напоминаем вам о возможности информировать поисковой робот Яндекса о новых страницах сайта при помощи счетчика Метрики. Для этого необходимо привязать счетчик Метрики к сайтам в Вебмастере и включить опцию «Обход по счетчикам».

Как это работает

Шаг 1: Привязка счётчика к сайту

Укажите номер счетчика Яндекс.Метрики, который установлен на сайте, в разделе «Привязка к Яндекс.Метрике».  Письмо с запросом на подтверждение привязки отправится владельцу счетчика Метрики.

Если вы одновременно владелец сайта и счетчика, то запрос будет подтвержден автоматически — счетчик привяжется к сайту. Переходите к шагу 3.

Шаг 2: Подтверждение запроса в Яндекс.Метрике:

Откройте Яндекс.Метрику и перейдите на страницу Настройка (вкладка Счетчик). Нажмите кнопку Подтвердить.

Шаг 3: Подключение «Обхода по счётчику»

  1. Перейдите на страницу  «Индексирование → Обход по счетчикам» в Вебмастере.
  2. Посмотрите примеры страниц, которые могут попасть в поиск, если они подготовлены для вашего сайта.
  3. Включите обход.

Где проверить, какие страницы участвуют в поиске?
— Откройте раздел «Индексирование → Обход по счётчикам». Посмотрите примеры страниц, которые могут попасть в поиск,  если они доступны для вашего сайта.  Нажмите кнопку «Примеры страниц» напротив счетчика, к которому вы привязали сайт. 
— Откройте раздел «Индексирование → Страницы в поиске».

Как убрать страницы из поисковой выдачи?
Используйте стандартные методы защиты от индексации: пароль, ограничения в файле robots или метатег, http-заголовок noindex.

Вы можете привязать несколько доменов к одному счетчику или несколько счетчиков к одному сайту. Подробнее о настройке обхода по счетчикам читайте в Документации.

17 комментариев
Что даст полезного эта функция? 
Что текущий функционал не решает вопрос по сканированию сайта ?
Обновлено 10 февраля 2020, 20:32
platon
Сотрудник Яндекса14 февраля 2020, 22:15
wezom-analiz,
обход по счетчикам позволяет роботу быстрее узнать о появлении новых страниц. Это один из источников, откуда поисковой робот может узнать о ссылках, аналогично файлу sitemap, и инструмент может дополнительно помогать поисковой системе быстрее узнавать о ссылках на сайте, которые нужно проиндексировать.
Обновлено 14 февраля 2020, 22:16
А как будет будет яндекс счетчик узнавать о появлении новой статьи на сайте CPA https://gagarin.partners/ если до этого приходилось пинговать бота/быстробота из вебмастера. У счетчика свой краулер появился?
e.sinelnikov4,
ответьте мне пожалуйста, как будто что то пропустил
platon
Сотрудник Яндекса14 февраля 2020, 22:30
e.sinelnikov4,
дополнительного индексирующего робота не появилось. Обход сайта по счетчикам дополнительно помогает роботу узнать о существовании тех или иных ссылок и указать на необходимость их обхода. При этом мы все равно рекомендуем использовать инструмент переобхода для страниц сайта, которые должны быть проиндексированы. Это позволит напрямую сообщить роботу, что данную страницу необходимо переиндексировать/проиндексировать.
Денис Ушаков
18 февраля 2020, 17:36
e.sinelnikov4,
Да, ты маркетолог 80лвл. Еще и написал CPA  и так не поймем, что реклама партнерки в комменте.
Мало того, что в тексте ряд грамматических ошибок, так еще и суть нововведения не особо понятна.
platon
Сотрудник Яндекса14 февраля 2020, 22:37
sandakoff.serg,
уточните, пожалуйста, какие ошибки вы заметили? Обязательно поправим.
Что касается нововведения, в Яндекс.Метрике вы можете наблюдать информацию по страницам сайта, на которых установлен счетчик Метрики. При включенном функционале обхода по счетчикам поисковой робот сможет получать данные от этих счетчиков о существовании таких страниц, и сможет быстрее посетить их и проиндексировать. Это один из источников, откуда поисковой робот может узнать о необходимых для индексирования страницах.
Обновлено 14 февраля 2020, 22:46
platon,
единственное, что меня смущает, это "поисковОй робот" в начале текста. Больше ошибок, кажется, нет. ))
tigrascnc,
Ударение на О
shopbeletag,
Если мне не верите, обратитесь к gramota.ru. Там даже увидите и ответ по роботу. Вот ведь сколько раз зарекался с правописанием встревать. ))
АльбертычЪ
11 февраля 2020, 12:31
У меня в "примерах страниц" не все страницы сайта отображены, а лишь процентов 10 - это нормально?

И есть УРЛы с таким окончанием, после основного адреса:
?fbclid=IwAR06Q-UwePur4zkgHzlt-8u5FZgvycaX17uS-e2yHgtbb7GxfzJExTZsoDE
?yrwinfo=1580652877691617-445477521496341957100115-man1-4550

Что это? Они не переадрисовываются на оригинал, получается это дубли? Как их закрыть?
platon
Сотрудник Яндекса12 февраля 2020, 07:41
АльбертычЪ,
да, в списке действительно отображаются не все страницы, это выборка ссылок, которые поисковой робот может найти из счетчиков. Если показывать абсолютно все страницы, в некоторых случаях список может быть очень большим.
Что касается приведенных ссылок, судя по адресам, это страницы с get-параметрами, похожими по функционалу на UTM-метки. Например, метка fbclid может добавляться к адресам страниц при переходе на эти страницы из соц. сети Facebook. Поисковая система воспринимает такие ссылки как отдельные страницы, поэтому их индексирование действительно можно ограничить. Например, в robots.txt при помощи директивы Clean-param:
Clean-param: fbclid&yrwinfo
Если такие ссылки не должны посещаться совсем, можно использовать директиву Disallow:
Disallow: *yrwinfo=
Disallow: *fbclid=
Проверить директивы можно при помощи инструмента анализа robots.txt: https://webmaster.yandex.ru/tools/robotstxt/
Татьяна Ерохина
12 марта 2020, 00:09
Спасибо за совет! Подключила. Посмотрим, что получится. Думаю, что хуже не будет! 
И что толку? Почему при последнем обновлении поисковой базы почти все статьи некачественные? Объяснить никто не может. Алгоритмы у них видите ли... 
Татьяна Данилова
27 мая 2020, 06:06
Данная функция не работает. В индекс, то есть в поиск, то есть в результаты Метрики, новая страница попадает только после обхода роботом, а как страница попадет в индекс и Метрику, если ее там нет. На всех сайтах от мелких до крупных не работает.
platon
Сотрудник Яндекса27 мая 2020, 12:26
Татьяна Данилова,
к сожалению, не до конца поняли, что вы имеете в виду. По возможности, опишите, пожалуйста, подробнее.


При обходе по счетчику Метрики поисковой робот сможет узнавать из счетчика о новых ссылках на сайте, чтобы посетить их и проиндексировать. При этом сам процесс индексирования все еще может занимать до 1-2 недель после посещения роботом страниц.


Если какие-то страницы долгое время не попадают в поиск, напишите, пожалуйста, об этом в службу поддержки через форму обратной связи. В данном случае можно написать, например, через форму на странице: https://yandex.ru/support/webmaster/indexing-options/link-metrica.html