Блог Яндекса для вебмастеров

Расширенная статистика по запросам и страницам сайта теперь доступна в Вебмастере!

Отличные новости для вебмастеров и владельцев сайтов! Теперь вам стала доступна расширенная статистика страниц сайта, которые добавлены в Sitemap или переведены в формат Турбо.

Раньше такие сведения были доступны в отчетах Вебмастера, но количество запросов или изменений на страницах ограничивалось. Теперь можно скачать архив с информацией обо всех страницах сайта без ограничений, если эти страницы добавлены в Sitemap или переведены в формат Турбо.

Какие данные можно получить в расширенной статистике сайта:

1.    Все поисковые запросы, по которым ваш сайт отображался в поиске за последние семь дней. Раньше в сервисе отображалось только 3000 запросов за последние три месяца. Помимо запросов, вы увидите среднюю позицию в поиске, число показов и кликов. Статистика учитывает результаты поисковой выдачи на любых устройствах по всем регионам.

2. Статистика всех страниц вашего сайта, которые известны Яндексу. Вам будут доступны:

· url — адрес страницы;

· httpCode — HTTP-код, полученный роботом во время последнего обхода;

· status — статус страницы в поиске;

· lastAccess — дата последнего посещения страницы роботом;

· turboPage — информация о том, используется ли формат Турбо;

· fromSitemap — данные о том, есть ли страница в Sitemap;

· redirTarget — адрес страницы, на которую настроено перенаправление;

· relCanonical — адрес основной страницы;

· title — заголовок страницы;

· metaDescription — описание страницы.

Как выгрузить данные:

  1. Добавьте все страницы сайта в Sitemap — файл, который сообщает поисковым системам актуальную структуру сайта. Чтобы данные попали в архив, Sitemap нужно сделать доступным роботу (загрузить на сайт, добавить ссылку в robots.txt или в Яндекс.Вебмастер).
  2.    Используйте технологию Турбо. Убедитесь, что показ Турбо-страниц включен.  

Примечание. Sitemap и технологию Турбо необязательно использовать вместе, можно выбрать один из способов.

         3.   Откройте Поисковые запросы → Статистика запросов. Выберите тип данных и скачайте архив.

       4. Откройте Индексирование → Все страницы и скачайте архив.

Подробнее о расширенной статистике сайта читайте в Справке Вебмастера.

Как использовать данные статистики?

Использовать такие данные можно для решения множества задач, связанных с оптимизацией сайта. Например:

  1. Можно найти страницы с одинаковыми элементами title или метатегами Description. По выгруженной таблице строим сводную таблицу в Excel, группируем страницы по title или metaDescription, и находим дублирующиеся или пустые.
  2. Можно найти важные страницы сайта, которые почему-то не попали в sitemap. Для этого выбираем страницы, которые есть на поиске (status == SEARCHABLE), но их нет в Sitemap (fromSitemap == FALSE).
  3. Если на сайте должны быть rel=canonical или, например, редиректы — выбираем интервал дат обхода роботом в lastAccess, выбираем целевые страницы и проверяем, все ли в порядке.

Для многих задач такого рода удобно дополнить таблицу столбцом с признаком типа страниц. Например, для интернет-магазина часто можно отделить по маске страницы товаров и страницы списков товаров.

P.S.  Если у вас есть кейсы, когда расширенные данные Вебмастера помогли решить какие-то важные задачи, поделитесь ими через специальную форму.  Все самое полезное и интересное мы постараемся рассказать у нас в блоге.

Команда Яндекс.Вебмастера

P. S. Подписывайтесь на наши каналы:
Блог Яндекса для вебмастеров
Канал Яндекса на YouTube о продвижении сайтов
Канал для владельцев сайтов в Яндекс.Дзене

48 комментариев
Павел Гречко
1 апреля, 12:05
Супер обновление 
Спасибо 
platon
Сотрудник Яндекса1 апреля, 13:41
Павел Гречко,
рады, что вам понравилось!
platon,
только это всё в неудобном формате 
Сашин Сергей
6 апреля, 10:58
lumtech,
да, не удобно
Сергей Медведев
13 апреля, 23:25
Павел Гречко,
все это делается в Screaming Frog SEO Spider, удобнее, нагляднее, и больше информации ))
Спасибо, особенно полезно будет для начинающих
platon
Сотрудник Яндекса1 апреля, 16:08
Madam Elvira,
спасибо за приятные слова!
Добрый день!
Не разархивируется нативным маковским распаковщиком :(
platon
Сотрудник Яндекса1 апреля, 16:52
lg5200,
Пожалуйста, напишите обращение в службу поддержки: https://yandex.ru/support/webmaster/troubleshooting.html . Так мы сможем гораздо быстрее помочь вам.
Спасибо большое, за полезный инструмент!
platon
Сотрудник Яндекса1 апреля, 16:08
jooqeer,
старались, спасибо! 
Спасибо. Но если это 1-апрельская шутка, то вас проклянут :)
platon
Сотрудник Яндекса1 апреля, 16:09
bergamotR,
 )))
Обновлено 1 апреля, 16:12
Павел Горбунов
1 апреля, 16:52
А если страницы из sitemap уже были загружены в сервис?
я не вижу каких-то обновлений.
Как было 8 млн запросов, так и сейчас столько же.
Чем открыть? Там каракули.
Амиль,
+1 поддержу. Яндекс, вы бы хоть расписали как это у вас в экселе так всё хорошо открылось и по полочкам разложилось.
Алексей
2 апреля, 07:56
fnmx,
Здравствуйте. Проверял в Excel 2016. "Данные - Из текста". В окне импорта файлов выбрать "Все файлы". Символ разделителя - запятая.
Или в LibreOffice Calc перетащить файл.
Амиль,
excel 2019, OpenOffice
Все открывается.
Так как файл CSV, там кодировку нужно поменять и проставить разделитель "запятые".
Александр Шаров
6 апреля, 16:59
Solunsun.ru,
открывается, да. Но все открывается строчно. Нужно по ячейкам таблицы. Как это сделать?
Александр Шаров,
В зависимости от формата выставить кодировку и  разделитель (где как, где запятая, где табуляция).

Если брать в расчет, что после разделителя такая картина, то самому через "Данные" -> "Текст по столбцам", там выставляем признаки.
platon
Сотрудник Яндекса6 апреля, 23:27
Александр Шаров,
чуть ниже есть объяснение, как открыть файл tsv.
Александр Шаров
8 апреля, 13:08
platon,
почему нельзя сразу сделать удобный для всех формат?

platon
Сотрудник Яндекса8 апреля, 16:06
Александр Шаров,
пока так:( Но я передал ваше пожелание разработчикам сервиса, посмотрим, возможно ли реализовать это в будущем.
Лантана М.
1 апреля, 20:36
Замечательная информация! Главное, удобно все - в одном месте!!!
Алексей
2 апреля, 07:56
Спасибо.
Молодцы!

SEO-эксперт
3 апреля, 11:03
Использовал инструмент в бете, и там при выгрузке было сопоставление URL-запрос, сейчас этого в выгрузке нет. Подскажите, появится ли это в ближайшем будущем?
можете подробнее объяснить как открыть файл tsv???
platon
Сотрудник Яндекса4 апреля, 16:28
december,
1. В Excel зайдите в меню "Файл" - "Импорт" и укажите "текстовый файл". Либо вкладка "Данные", пункт "Из текста".
2. Укажите предварительно скачанный файл архива.
3. Выберите вариант "с разделителями" и формат "UTF-8".
4. В качестве разделителя укажите "знак табуляции".
Нажмите "Готово".
platon,
Спасибо!
Равиля Нуштаева
6 апреля, 03:47
Спасибо,большое за заботу.
Александр Шаров
6 апреля, 17:07
Всегда было интересно, почему .csv
Александр Шаров
6 апреля, 17:09
"Вы можете создавать и редактировать документы, таблицы и презентации прямо в Яндекс.Диске.
Поддерживаются следующие форматы файлов:
документы — DOCX/DOC, ODT, DOCM;
таблицы — XLSX/XLS, ODS, XLSM, XLSB;
презентации — PPTX/PPT, ODP, PPSX."

Но при этом формат выгрузки будет .csv...
platon
Сотрудник Яндекса6 апреля, 23:31
Александр Шаров,
расширение файла .tsv, а не .csv
platon,
если открывать после обработки, то формат меняется на CSV
Вячеслав
7 апреля, 11:22
platon,
 не понял почему вы говорите, что расширение файла .tsv? У него расширение .csv http://prntscr.com/ruk4b1
Полезно, спасибо!
Пожалуй, сделаю парсер этого файла, для быстрой фильтрации - найти точки роста (страницы, которых нет sitemap и т.д.).
Если кому будет интересно, обращайтесь )
чем это открыть?  https://prnt.sc/rv2acn 
Жанна,
формат с расширением CSV
Перед открытием поменять кодировку на UTF8
Валерий
8 апреля, 14:34
Все хорошо, шибко стараетесь улучшить сервис. Одно не понятно - почему вы упорно не хотите показать связку с адресом страницы?
Вот я, например, очень хочу иметь статистику:
URL | Запрос | Кол-во переходов |
У вас есть раздел - Управление группами. Даете посмотреть либо запросы, либо урл. Но выгрузить почему-то низзяя
Дайте выгрузку запросов и адресов с остальными показателями.
platon
Сотрудник Яндекса8 апреля, 21:22
Валерий,
спасибо за предложение! Мы подумаем над внедрением такой функции.
Но почему нельзя было это сразу разделить по столбцам?
Все идет одной строчкой, не очень удобно url,"httpCode","status","lastAccess","turboPage","fromSitemap","redirTarget","relCanonical","title","metaDescription"
platon
Сотрудник Яндекса9 апреля, 07:19
EvaDia,
спасибо за предложение, обязательно передам его команде сервиса!
egorinfiz@gmail.com
9 апреля, 11:38
Друзья, я понимаю, что не в кассу, но все же, подскажите. Почему ЯВ пишет, что "Робот не использует ни одного файла Sitemap. Это может негативно сказаться на скорости индексирования новых страниц сайта. Если корректные файлы Sitemap уже добавлены в очередь на обработку, сообщение автоматически исчезнет с началом их использования.
Обратите внимание на раздел «Файлы Sitemap»." Но, когда я тут же в ЯМ проверяю отдельно файл sitemap, то он пишет, что ошибок нету. Как так и как это исправить?
platon
Сотрудник Яндекса9 апреля, 15:18
egorinfiz@gmail.com,
пожалуйста, напишите моим коллегам в службу поддержки https://yandex.ru/support/webmaster/controlling-robot/sitemap.html , подскажут и помогут
У всех такая ерунда сейчас, что посещаемость сайта выросла в 2 раза, а заработки не сильно увеличились?
Отличное обновление! Спасибо.
скачал архив, распаковал. в файле кодировка наверно другая. русские буквы у меня отображаются набором разных символов