Блог Яндекса для вебмастеров

Как ускорить обход страниц при помощи Метрики?

Напоминаем вам о возможности информировать поисковой робот Яндекса о новых страницах сайта при помощи счетчика Метрики. Для этого необходимо привязать счетчик Метрики к сайтам в Вебмастере и включить опцию «Обход по счетчикам».

Как это работает

Шаг 1: Привязка счётчика к сайту

Укажите номер счетчика Яндекс.Метрики, который установлен на сайте, в разделе «Привязка к Яндекс.Метрике».  Письмо с запросом на подтверждение привязки отправится владельцу счетчика Метрики.

Если вы одновременно владелец сайта и счетчика, то запрос будет подтвержден автоматически — счетчик привяжется к сайту. Переходите к шагу 3.

Шаг 2: Подтверждение запроса в Яндекс.Метрике:

Откройте Яндекс.Метрику и перейдите на страницу Настройка (вкладка Счетчик). Нажмите кнопку Подтвердить.

Шаг 3: Подключение «Обхода по счётчику»

  1. Перейдите на страницу  «Индексирование → Обход по счетчикам» в Вебмастере.
  2. Посмотрите примеры страниц, которые могут попасть в поиск, если они подготовлены для вашего сайта.
  3. Включите обход.

Где проверить, какие страницы участвуют в поиске?
— Откройте раздел «Индексирование → Обход по счётчикам». Посмотрите примеры страниц, которые могут попасть в поиск,  если они доступны для вашего сайта.  Нажмите кнопку «Примеры страниц» напротив счетчика, к которому вы привязали сайт. 
— Откройте раздел «Индексирование → Страницы в поиске».

Как убрать страницы из поисковой выдачи?
Используйте стандартные методы защиты от индексации: пароль, ограничения в файле robots или метатег, http-заголовок noindex.

Вы можете привязать несколько доменов к одному счетчику или несколько счетчиков к одному сайту. Подробнее о настройке обхода по счетчикам читайте в Документации.

13 комментариев
Что даст полезного эта функция? 
Что текущий функционал не решает вопрос по сканированию сайта ?
Обновлено 10 февраля, 20:32
platon
Сотрудник Яндекса14 февраля, 22:15
wezom-analiz,
обход по счетчикам позволяет роботу быстрее узнать о появлении новых страниц. Это один из источников, откуда поисковой робот может узнать о ссылках, аналогично файлу sitemap, и инструмент может дополнительно помогать поисковой системе быстрее узнавать о ссылках на сайте, которые нужно проиндексировать.
Обновлено 14 февраля, 22:16
А как будет будет яндекс счетчик узнавать о появлении новой статьи на сайте CPA https://gagarin.partners/ если до этого приходилось пинговать бота/быстробота из вебмастера. У счетчика свой краулер появился?
e.sinelnikov4,
ответьте мне пожалуйста, как будто что то пропустил
platon
Сотрудник Яндекса14 февраля, 22:30
e.sinelnikov4,
дополнительного индексирующего робота не появилось. Обход сайта по счетчикам дополнительно помогает роботу узнать о существовании тех или иных ссылок и указать на необходимость их обхода. При этом мы все равно рекомендуем использовать инструмент переобхода для страниц сайта, которые должны быть проиндексированы. Это позволит напрямую сообщить роботу, что данную страницу необходимо переиндексировать/проиндексировать.
e.sinelnikov4,
Да, ты маркетолог 80лвл. Еще и написал CPA  и так не поймем, что реклама партнерки в комменте.
Мало того, что в тексте ряд грамматических ошибок, так еще и суть нововведения не особо понятна.
platon
Сотрудник Яндекса14 февраля, 22:37
sandakoff.serg,
уточните, пожалуйста, какие ошибки вы заметили? Обязательно поправим.
Что касается нововведения, в Яндекс.Метрике вы можете наблюдать информацию по страницам сайта, на которых установлен счетчик Метрики. При включенном функционале обхода по счетчикам поисковой робот сможет получать данные от этих счетчиков о существовании таких страниц, и сможет быстрее посетить их и проиндексировать. Это один из источников, откуда поисковой робот может узнать о необходимых для индексирования страницах.
Обновлено 14 февраля, 22:46
platon,
единственное, что меня смущает, это "поисковОй робот" в начале текста. Больше ошибок, кажется, нет. ))
У меня в "примерах страниц" не все страницы сайта отображены, а лишь процентов 10 - это нормально?

И есть УРЛы с таким окончанием, после основного адреса:
?fbclid=IwAR06Q-UwePur4zkgHzlt-8u5FZgvycaX17uS-e2yHgtbb7GxfzJExTZsoDE
?yrwinfo=1580652877691617-445477521496341957100115-man1-4550

Что это? Они не переадрисовываются на оригинал, получается это дубли? Как их закрыть?
platon
Сотрудник Яндекса12 февраля, 07:41
Albertych,
да, в списке действительно отображаются не все страницы, это выборка ссылок, которые поисковой робот может найти из счетчиков. Если показывать абсолютно все страницы, в некоторых случаях список может быть очень большим.
Что касается приведенных ссылок, судя по адресам, это страницы с get-параметрами, похожими по функционалу на UTM-метки. Например, метка fbclid может добавляться к адресам страниц при переходе на эти страницы из соц. сети Facebook. Поисковая система воспринимает такие ссылки как отдельные страницы, поэтому их индексирование действительно можно ограничить. Например, в robots.txt при помощи директивы Clean-param:
Clean-param: fbclid&yrwinfo
Если такие ссылки не должны посещаться совсем, можно использовать директиву Disallow:
Disallow: *yrwinfo=
Disallow: *fbclid=
Проверить директивы можно при помощи инструмента анализа robots.txt: https://webmaster.yandex.ru/tools/robotstxt/
Татьяна Ерохина
12 марта, 00:09
Спасибо за совет! Подключила. Посмотрим, что получится. Думаю, что хуже не будет! 
И что толку? Почему при последнем обновлении поисковой базы почти все статьи некачественные? Объяснить никто не может. Алгоритмы у них видите ли...