Блог Яндекса для вебмастеров

Робот Яндекса начал использовать JavaScripts и CSS

Пост в архиве.

Мы начали использовать JavaScripts и CSS при обходе некоторых ресурсов для того, чтобы получить больше данных о страницах сайтов и увидеть содержимое таких сайтов в том виде, в каком оно отображается в современном браузере. Это позволяет оценить удобство интерфейса, получить контент, который ранее был недоступен роботу, и сравнить эти данные с уже используемыми при ранжировании в поиске. Если эти данные позволят предоставить пользователям нашего поиска лучший ответ по какому-либо запросу, то в ранжировании мы будем использовать именно версию, полученную с использованием JavaScripts и CSS.

В настоящий момент это происходит лишь для небольшой части сайтов и отдельных страниц, известных индексирующему роботу. Но мы постоянно следим за данным процессом и проверяем поступающую информацию, а также вносим необходимые изменения для применения этой технологии для всех известных нам сайтов в будущем, постепенно расширяя объем индексируемых таким образом ресурсов.

Поэтому мы рекомендуем владельцам и разработчикам сайтов, которые ранее закрывали файлы с JavaScripts и CSS для индексирующего робота, открыть их в robots.txt. Кроме того, стоит позаботиться о том, чтобы при обращении робота за данными файлами не возникло проблем с нагрузкой на сервер сайта. 

Поскольку данный процесс только проходит тестирование, мы не можем использовать его для всех известных нам сайтов, как и предложить всем желающим вебмастерам поучаствовать в эксперименте. Но как только появится такая возможность, мы начнём индексировать все известные нам ресурсы именно таким образом.

Делаем жизнь ярче 

Команда Поиска

91 комментарий

Отлично! давно пора было!

что можно обнаружить в скрипфайлах касаемо тематики сайта?

Елена Першина
19 января 2016, 10:57

Речь тут ведь не только о тематике, но и об удобстве для пользователей. 

В чем удобство? 

Елена Першина
19 января 2016, 10:57

В интерфейсе, в контенте, который ранее был недоступен роботу.

Digital-агентство Bquadro
19 января 2016, 10:57

Собственно как и у Google

не понимаю, зачем лесть в джава, если надо вывести контент я его выведу параллельно скрытым блоком, те же комментарии к товарам, как у меня и сделано. А css - как робот может оценить визиально удобен дизайн или нет, на это есть показатели поведенческих

dklimat, а если поведенческие данные еще не накоплены? 

Яндекс бы ответил "Яндекс.Директ"

табы например делаются с помощью джавы, и чтоб получить корректые поведеньческие показатели, нужно анализировать js и css

Ну так сам контент табов-то обычно изначально присутствует в документе, а скрипты только переключают блоки. Что значит "корректные поведенческие" в данном случае?
Алексей Шмелев
19 января 2016, 10:57

не всегда, контент табов может быть изначально пустым, и только при переключении таба догружаться, например закладка комментариев к товару или вопрос-ответ

Даже в этом случае, речь идет о контентной составляющей, а не поведенческих показателях.

не прошло и пяти лет

Уже давно открыл, как только гугл стал требовать.

Я так понимаю, что AJAX так и не будет индексироваться?

Артёмкин Павел
19 января 2016, 10:57

Кажется, что новость именно про то, что AJAX будет индексироваться.

Все, понял, запутался. Спасибо.

зачем у ютуба тиц обнулили? :-D

Иван Дестроев
19 января 2016, 10:57

Наверн накрутили гайки ржавые, а Яндекс это заметил.

 

 

Иван Дестроев
19 января 2016, 10:57

Уважаемые вебмастера, вопрос может и глупм показаться, но меня волнует в данный момент такое.

Если некоторый контент прятать от простых посетителей для определенных целей (не рекламная), будет ли Поисковый Робот считывать контент, который скрыт от пользователей?

Елена Першина
19 января 2016, 10:57

Ситуация очень общая, как скрыт, зачем скрыт, – все это не очень понятно из вашего вопроса. Лучше всего этот вопрос задать в поддержку Вебмастера с подробным описанием того, как именно он скрыт от пользователей и скрыт ли он от поисковых роботов. Хорошо бы еще пример дать.  

Иван Дестроев
19 января 2016, 10:57

Я еще не скрывал контент, а как скрыт, думаю прсотыми посредствами HTML CSS либо попробовать JS

Подскажите содержимое отзывов выводимых скриптом внешней системы Mnenia.Pro (как тут например: http://bonkids.ru/reima-tec-komplekt-koru-513093r-5915) будут также индексироваться и попадать в выдачу ?

Если да, то можно как то сайт добавить уже сейчас, в рамках бета-тестирования ?

Чтобы уже не заморачиваться и не тратить средства на разработку спец. версии для поисковика или выводом скрытых блоков с тем же HTML контентом рядом.

 

 

Елена Першина
19 января 2016, 10:57

На текущий момент такой контент не индексируется. Когда будет возможность добавить сайт для обхода роботом с использованием скриптов или раскатим такой метод на все сайты, мы сообщим дополнительно.

На все то может как раз и не надо ? Технология вывода текста через скрипт часто же как раз использовалась в целях, чтобы этот контент поисковиком не индексировался. Иногда это нужно.

Поэтому ИМХО было бы разумно, чтобы можно было указывать какие скрипты надо индексировать, а какие нет. Опять же это съэкономит ресурс поискового робота, а он увы не безграничен.

 

всем доброго дня.

Прежде всего хотелось поздравить всех с новогодними праздниками и рождеством. Пожелать всем в новом году успехов в карьере и здоровья.

У меня вопрос к замечательной технической поддержки Яндекс.

я прошу прощения что пишу в блог и скорее всего не по адресу но не могу найти ни единой страницы в интернете где официально тех. поддержка яндекс давала бы свои комментарии по каким либо проблемам связанным с работой сервисов Яндекс. 

собственно моя проблема связана с фильтром АГС.

я уже 2й месяц веду бестолковую переписку с технической поддержкой Яндекс о сате http://mskadmin.ru как вы можете посмотреть он находится под фильтром АГС.

но почему он там оказался ни одного ответа не поступило.

Все ответы технической поддержки сводятся к тому что у Яндекса есть робот который периодически проверяет сайты и определят ставить сайт под фильтр или обирать его из фильтра.

Вот собственно вопрос:

 почему он под фильтром ?

и когда фильтр снимут ?

Елена Першина
19 января 2016, 10:57

Здравствуйте! На вопросы про санкции мы отвечаем только через поддержку Вебмастера, так как данные об этом может получить только владелец сайта, который подтвердил на него права. 

Есть сервис комментариев Disqus.com. Будут ли теперь индексироваться комментарии из блока Disqus на сайте?
Здравствуйте!
Пока данный процесс проходит тестирование, какие возможности существуют для сайта, на котором реализован поиск объектов с помощью Ajax ?

Если использовать метод с использованием тега <noscript> (т.е. выводить содержимое тега для роботов и браузеров с отключенными скриптами), это будет работать? Не будет ли это расценено как запрещенный метод продвижения?
Ну когда же? Когда начнется? Или может уже как-то можно поучаствовать в тестировании?
Подскажите пожалуйста, а как Яндекс относится к тому чтобы присваивоить блокам собственного URL при помощи JavaScript и метода PushState?
То есть теперь можно будет делать навигацию через
<select onchange="location.href=this.value">
<option value="/example-page-1/">
<option value="/example-page-2/">
<option value="/example-page-3/">
</select>
и Яндекс сможет все это проиндексировать?
Здравствуйте. Подскажите, как ПС Яндекс сейчас относится к таким конструкциям:

<span class="hidden" data-link="http://ya.ru">внешняя ссылка</span>
<script>$('.hidden').click(function(){window.open($(this).data('link'));return false;});</script>

Можно ли такое использовать?
что то так и не понятно ничего!
вы индексируете динамически подгружаемый контент или нет?
вот гипотетический сайт на ajax подгружающий контент по клику на ссылке


<html>
<head>


<title>Мой сайт</title>


</head>
<body>


<div id="menu">
<a onClick="ajax(1) return false;">Ссылка1</a>
<a onClick="ajax(2) return false;">Ссылка2</a>
<a onClick="ajax(3) return false;">Ссылка3</a>
</div>


<div id="content"></div>


</body>
</html>


Индексируется ли контент который подгружается в блок content или нет?
Алекс,
Вот мне тоже интересно. Гугл проверил. индексирует. Причем у них есть инструмент. воткнул ссылку и сразу видно что видит робот. В яндексе как всегда ждать до второго пришествия надо.
Удалённый пользователь
19 декабря 2016, 22:47
У меня вопрос: Сайт сделан на JavaScript (JS) с использованием фреймворка Angular JS, какие действия нужно выполнить для того, чтобы страницы индексировались поисковыми роботами?
Обновлено 19 декабря 2016, 22:48
переписать его на HTML)) А если серьезно, то бред конечно, 2017 год, Angular, React, а они (Яндекс) только начали индексировать НЕКОТОРЫЕ сайты с подгружаемой инфой. Конечно, лучше всякие изначально мертвые технологии двигать, вроде БЭМа, чем поисковик довести до ума!
Новость неактуальная. Прошло 2 года, а кравлинг  ajax так и не прикрутили
Обновлено 24 апреля 2017, 22:48
Елена Першина
Сотрудник Яндекса25 апреля 2017, 19:03
orez.work,
Новость не про ajax была. Про ajax - тут: https://yandex.ru/support/webmaster/robot-workings/ajax-indexing.xml
И да, тут ничего не менялось. 
Елена Першина,
все еще этап тестирования? Уже можно отказаться от серверного рендеринга HTML для поискового робота и показывать страницу также как и для браузера конечного пользователя? 
Елена Першина
Сотрудник Яндекса4 мая 2017, 20:20
evgenyjam,
Рендеринг отключать не стоит - данная технология не используется для всех известных роботу сайтах.
Елена Першина,
добрый день. Подскажите, пожалуйста, есть ли новости? Технологически сильно отстаёте. Доля SPA растёт стремительно.
Елена Першина
Сотрудник Яндекса27 ноября 2018, 15:06
Сергей,
я бы сказала иначе: в обычных случаях она и не нужна. К сожалению, тут изменений пока нет и в ближайшее время не будет. 
Здравствуйте. А как сейчас с JavaScrit?

У нас страница каталога грузится JavaScrit по частям с возможностью подгрузки большего количества товаров.
Можем ли мы выдавать Яндекс-боту страницу со всеми товарами данного каталога для улучшения индексации? Не запрещено ли это и улучшит ли это наши позиции в поиске?
Елена Першина
Сотрудник Яндекса3 ноября 2017, 17:38
konakov.av,
Да, можете делать, это не запрещено. 
Елена Першина,
Большое спасибо за ответ :)
Елена Першина,
Еще вопрос про это: у нас товары не находятся в коде страницы, мы их подгружаем через Ajax. В этом случае по-прежнему можно делать HTML-слепки?
Елена Першина
Сотрудник Яндекса13 ноября 2017, 10:32
konakov.av,
Да, в этом случае по-прежнему нужны статические копии. 
Елена Першина,
Еще раз большое спасибо за ответ :)
firstlena.pershina, есть ли разница по краулинговому бюджету для бота, индексирующему сайт с javascript и без? У меня большой сайт ~ 12млн страниц и без javascript контент не загружается (выдается 404 ошибка с просьбой обновить браузер). Вопрос: может ли это ухудшить скорость индексации моего сайта? Или боту все равно есть ли у меня javascript или нет т.к. квота на него выдается одинаковая и зависит только от числа страниц? 
Елена Першина
Сотрудник Яндекса4 декабря 2017, 16:45
seoprof2017,
А для робота статическая версия страницы ведь есть? Там же не все на скриптах? Можно сам сайт? 
Елена Першина,
 Все на скриптах, статической версии нет, пример: https://professionali.ru/Soobschestva/biznes-klub/viktor-kurilov-o-chem-uchastniki-opek-budut/





Елена Першина
Сотрудник Яндекса6 декабря 2017, 19:55
seoprof2017,
Должен индексироваться. 
Обновлено 6 декабря 2017, 19:55
Елена Першина,
 да, сайт индексируется, но вопрос в другом, влияет ли это как-то на скорость индексации моего сайта? Мне нужно как-то заморачиваться и делать статическую версию, чтобы ускорить индексацию?
Ох-х, эти профессионалы https://professionali.ruНАДОЕЛИ своим спамом! Добро, хоть Яндекс.Почта сообщения с этого сайта складывает теперь в спам. А то ведь удержу нет. Похоже, это - самый спамный сайт - больше мне никто ТАКУЮ массу совершенно ненужных сообщений не присылает. Не стыдно ли вам, professionali.ru ? Может, хватит издеваться над пользователями, надо мной, в частности? Ведь иногда в папке СПАМ попадают и полезные письма - с нужных сайтов. И вот - приходится отфильтровывать присылаемый вами мусор от нужных писем.
Если пользователь заходил на ваш сайт 1...2 раза и больше не заходил вообще - так неужели непонятно, что его он не интересует? Проявите свое благоразумие, прекратите уже свой информационный террор.
Добрый день!
Не совсем ясен вопрос с ранжированием сайтов, которые отдают слепок страницы.
У нас сайты с использованием javascript, специально создаем слепок страницы для ботов яндекса, но из-за времени на создание слепка, увеличивается отклик от сервера с 200 мс (как у пользователей) до 2.3 сек для роботов.
Как в данном случае поступает робот? Учитывает ли он, что смотрит на слепок, а не на то, что видит пользователь? Накладываются ли какие-то понижающие факторы в ранжировании из-за такого отклика? 
Елена Першина
Сотрудник Яндекса13 декабря 2017, 22:53
partnerlight,
Нет, не учитывает, но такое время ответа приемлемо, каких-либо проблем с ранжирование из-за этого не будет.
Елена Першина,


Спасибо за оперативный ответ.
А какое время будет неприемлемо? По мере роста товарной базы, нагрузка на фантом будет расти постоянно, в какой-то момент это может быть и 3 и 4 секунды, хотелось бы понимать, как правильно поступать в данном случае?
Елена Першина
Сотрудник Яндекса14 декабря 2017, 23:22
partnerlight,
В среднем сайты в рунете отвечают в течение 3 секунд. Все, что выше - плохо, для робота это будет знак, что сайт не сплавляется с нагрузкой, поэтому страницы будут посещаться реже.
Добрый день. Подскажите пожалуйста следующий момент, у меня вебапп сделан на реакте с множеством различных динамических страниц (имеется полный sitemap.xml) и я не могу проиндексировать все эти страницы из-за-того что яндекс-робот не дает отработать подключаемому js-скрипту и отрендерить все эти компоненты/страницы, хотя гугл-робот все это прекрасно делает. Получается что по сайтмапу робот ходит но при этом везде говорит что страница дубль, так как скрипт у него не отрабатывает, что возможно сделать в данном случае? Пробовал писать в robots.txt Allow: *js, но не сильно помогло, возможно есть ещё какие-то варианты? Заранее спасибо.
Елена Першина
Сотрудник Яндекса22 января 2018, 18:47
Norwegian-Soul,
Лучше всего отдавать статикой, как тут написано:  https://yandex.ru/support/webmaster/robot-workings/ajax-indexing.xml
Елена Першина,
У меня везде стоит мета-тег <meta name="fragment" content="!">, но это не сильно помогло.
Елена Першина
Сотрудник Яндекса24 января 2018, 15:12
Norwegian-Soul,
Роботу отдается статика или нет в итоге? 
Елена Першина,
Наверное я что-то не правильно понял с этим мета-тегом. Статики у нас на сайте получается нет ( нет статических html-страниц). Неужели никак нельзя обойтись без статических копий, а только с одним js? У меня в cайтмапе в районе 38 тысяч страниц, делать для всего html-версию это жесткий костыль, гугл робот же как-то без такого костыля все воспринимает, может есть какие-то способы подружить реакт с яндекс-роботом?
Елена Першина
Сотрудник Яндекса25 января 2018, 14:16
Norwegian-Soul,
Чтобы сайт точно хорошо индексировался - мы просим давать статичные копии для робота. Если их нет, очень большая вероятность, что контент мы проиндексировать не сможем. Какой-либо иной рекомендации у нас нет. Так что просто проверьте, как индексируется вас сайт через проверку страницы в Вебмастере - там показывается, какой контент видит робот. 
Елена Першина,
Извините, но доколе это будет продолжаться ? Сколько можно уже мучить людей и заставлять их делать костыли ?
Понятно, что это сложно, но скажите, что хотя бы, работа в этом направлении ведется.
Елена Першина
Сотрудник Яндекса28 января 2018, 13:29
ZOXEXIVO,
Простите, пожалуйста, есть общие рекомендации поиска. Если вы им не следуете - то это ваш выбор. Я понимаю ваше желание, вам хочется, чтобы не вам нужно было делать дополнительную разработку из-за того, что вы не ознакомились с рекомендациями до этого, а кто-то сделал её за вас. Увы, разрабатывать удобные решения для каждого технического решения каждого разработчика - странно. Именно поэтому и выпускаются общие стандарты. 
Елена Першина,
я напомню, что сейчас идет 2018 год и называть индексацию SPA приложений как просто "доработку под каждого конкретного разработчика" это просто дико. 
Google несколько лет назад научился это делать и неплохо с этим справляется. Что мешает вам ?
По сути, вы (Yandex), сейчас тормозите развитие этого направления и заставляете людей извращаться, пытаясь подпихнуть контент вашему поисковику.
Елена Першина
Сотрудник Яндекса30 января 2018, 13:31
ZOXEXIVO,
Я уверена, что это важное направление. Как и много других направлений со своими стандартами. Мы прорабатываем разные варианты поддержки, но гарантию на корректную работу даем только при выполнении наших рекомендаций. Никто вам не мешает делать такой вариант сайта - просто отдавайте роботу статичную копию. 
�HitmanBest💚
1 апреля 2018, 18:59
А как запретить индексирование скриптов-рекламных?

И свои у сайта, должны быть открыты?
Елена Першина
Сотрудник Яндекса2 апреля 2018, 14:26
💚HitmanBest💚,
noindex почему не подходит? 
�HitmanBest💚
2 апреля 2018, 14:41
Елена Першина,
</noindex> разве не для текста?
Елена Першина
Сотрудник Яндекса2 апреля 2018, 15:51
💚HitmanBest💚,
 подходит и для рекламных скриптов на странице. 
�HitmanBest💚
2 апреля 2018, 16:04
Елена Першина,
А как определить что на странице индексирует робот, а что нет?
Елена Першина
Сотрудник Яндекса2 апреля 2018, 16:17
💚HitmanBest💚,
Проверку ответа сервера можно запустить - так показывается, какой контент отдается роботу и как. 
�HitmanBest💚
2 апреля 2018, 23:27
Елена Першина,
Но не понятно же что он индексирует а что игнорит, почти тоже самое что и посмотреть исходной код...
Всё тот же </noindex> тама, раз он видит - значит индексирует.. хмм...
Елена Першина,
Скажите пожалуйста, например на всех страницах есть текст - Для добавления комментария необходимо зарегистрироваться на сайте. 
Если я в js этот текст помещу и буду выдавать при открытии страницы, то робот будет этот везде повторяющийся текст воспринимать за часть текста статьи?
Обновлено 27 апреля 2018, 05:20
Елена Першина
Сотрудник Яндекса27 апреля 2018, 10:50
Key,
зависит от реализации. Можете через "ответ сервера" посмотреть в Вебмастере - там будет видно, какой контент получил робот. 
Здравствуйте. Скажите пожалуйста, как индексируются веб-приложения на Angular, AngularDart и можно ли об этом где-нибудь почитать более подробно? Можно ли обойтись без server-side rendering, решений типа Angular Universal. Спасибо.
Обновлено 5 мая 2018, 15:27
Елена Першина
Сотрудник Яндекса7 мая 2018, 18:18
Dmitry S.,
Мы по конкретным решениям, к сожалению, не комментируем. Проверить работу такой системы можно через ответ сервера. Общее правило: должен быть для робота доступен статический контент. 
Елена Першина,
ок, если не конкретные решения, то любая SPA-страница будет индексировать? В топике написано - мы начали использовать JavaScript, что подразумевается под этой фразой? SSR со стороны робота или что-то другое? Общее правило - должен быть для робота доступен статический контент, не вяжется с тем как именно индексируются SPA. Вебмастер совершенно не дает информации, о том, будет ли выполнен JavaScript краулером или нет, при индексировании.

Кто-то выше в комментариях упоминает, что SPA индексируются, с вашей стороны нет комментариев на этот счет, но вы уточняете что для робота должен быть доступен статический контент. Где правда? Если нужен статический контент дополнительно, то это точно не про SSR, это вводит в заблуждение.
Елена Першина,
Доброго Вам дня! В начале июня была информация, что из-за изменения в алгоритме генерации страниц в конструкторе Wix (использование ajax технологий) - большая часть сайтов конструктора выпала из индекса Яндекс. Тогда Михаил Сливинский ответил, что в течение пары дней ситуация исправится (https://prnt.sc/kfblux).
Скажите, удалось ли исправить проблему?
platon
Сотрудник Яндекса7 августа 2018, 13:54
web-king87,
сейчас с этим всё в порядке, сайты на конструкторе Wix индексируются и участвуют в поиске в обычном режиме.
Александр И.
16 июня 2018, 18:48
Вот это чудо природы будет индексироваться?

<script>document.write('<h1>Распознай меня как заголовок</h1>');</script>


В поисковой выдачи будет заголовок?
Елена Першина
Сотрудник Яндекса18 июня 2018, 15:21
Александр И.,
отдайте это в ответ сервера и посмотрите, какой контент мы проиндексировали. Если проиндексируем, то будет. 
Юрий Жигалов
26 июля 2018, 19:28
Елена Першина,
Этот инструмент не показывает всю страницу. Ограничение пишет: Показаны только первые 50000 символов страницы


http://prntscr.com/kbdw8m



И как посмотреть в таком случае?
platon
Сотрудник Яндекса27 июля 2018, 15:33
Юрий Жигалов,
вы можете перенести данный блок в начало страницы, чтобы проверить через инструмент доступность такого контента роботу. Если такой возможности нет, вы также можете написать нам в службу поддержки и прислать пример страницы, где используется такой заголовок. Мы проверим, будет ли доступен контент роботу. Написать обращение можно через следующую форму обратной связи: https://yandex.ru/support/webmaster-troubleshooting/site-indexing/bad-indexing/new-pages.html .
Гугл уже отменил обязательную генерацию статики для SPA
https://webmasters.googleblog.com/2017/12/rendering-ajax-crawling-pages.html
Яндекс за 3 года что-то даже ориентировочной даты не предлагает или есть новая инфа?
Вопрос по теме: индексирует ли поисковой робот содержимое страницы, которое лежит в скрипте как type="application/json" ? (То есть все содержимое страницы грузится через json)
Сейчас яндекс умеет всё, ко мне на сайт https://stroyka-gid.ru по 2 раза заходит для перепроверки