Индексация AJAX-сайтов поисковым роботом Яндекса

Конечно, зачем переписывать поисковик, пускай все переписывают сайты =)

[:]|||||||||[:]Давайте ещё больше работы программисту. Проще переделать админку с обязательным исключением занака #, чем так переписывать URL.

Чем дальше, тем больше обращения Яндекса к вебмастерам сводятся к простой формуле: "вот что нужно сделать вам, чтобы было удобнее нам". В конце дописывается магическая фраза "в интересах пользователей".

Вам надо индексировать ajax, вы и индексируйте. А на нас, вебмастеров перекладывать свою некомпетентность не нужно. Не во всех случаях робот Яндекса желанный гость.

и когда была проблема с индексацией AJAX-сайтов?

только у самых тупых и криворуких вебмастеров и программистов - теперь понятно для кого работает Яндекс! :(

Забыли пятый пункт, в котором написано "Еще вебмастер должен распознать, что на сайт пришли по ссылке http://www.examplesite.ru/#!blog, распарсить якорь и выдать пользователю тот контент, который был проиндексирован"

А не проще ли и правильнее было бы посмотреть в торону HTML5?

Правильно делать нужно по другому.

Нужно просто понять, что ajax - это лишь транспорт.

То есть, на примере, приведённом в статье, страница должна располагаться по адресу http://www.examplesite.ru/blog

При этом и человек, у которого отключен js, и робот, увидят html-версию страницы.

Если же на клиенте включен js, то начинает работать красивая логика сайта и ускорять загрузку и т.п.

Конкрентно - для загрузки контента по ajax браузер также обращается по ТОМУ ЖЕ адресу  http://www.examplesite.ru/blog и сервер просто навсего отдаёт браузеру контент в другом формате, например, json, да или всё тот же html. Клиент принимает данные и располагает их в нужном месте страницы. Всё, никаких вывертов делать не нужно, менять поисковики, менять сайты и прочее-прочее.

Приведу примеры, как сервер может понять, что запрос от клиента пришёл ajax-овый. Это во-первых, тот самый заголовок X-Requested-With, равный XMLHttpRequest. Во-вторых, для большей надёжности (прокси режут заголовки и т.д.), можно передавать какой-нибудь параметр вида &ajax=1, которые соотв. передаётся только через js. В-третьих, если внести в архитектуру сайта правило, что если url оканчивается на .html, то передаётся обычная версия для роботов и клиентов без js, а если например, оканчивается на .json, то версия в json.

Успешно применяю это в своих проектах. Если нужно, обращайтесь, покажу примеры.

Опять яндекс навязывает стандарты, а не подстраивается под веб мастеров

а есть ли живой пример такой индексации, который можно посмотреть?

просмотрел выдачу по примерно 15К скачиваемых запросов (топ 50-100) - не обнаружил ни одного урла с #! в выдаче

Здравствуйте. У меня имеется сайт aftamat4ik.ru . Он полностью выполнен на ajax. Для того, чтобы его можно было проиндексировать внедрены хеш ссылки. Вы сами можете просмотреть. Например ссылка к исполнителю выглядит так:

 http://aftamat4ik.ru/#/author/ГРОТ 

На главной странице, в соответствии с правилами добавлен meta тег

Но бот не проиндексировал ни  страници на сайте. Точнее проиндексировал, но только главную страницу, а все остальное отказывается.

По адресу http://aftamat4ik.ru/?_escaped_fragment_ у меня лежит версия сайта без ajax, предназначенная для ботов гугла и яндекса. я решил проверить видит ли ваш бот мета тег

И оказалось что ничего он не видит, и все что выше было написано - ложь. Яндекс как не умел так и не умеет индексировать ajax приложения, и это печально.

У яндекса недавно появился сервис Проверка ответа сервера

http://webmaster.yandex.ru/server-response.xml

С помоью этого инструмента я окончательно убедился что бот не видит ничего, из того, что требуется.

Или я то-то не так делаю? Писал на форум - надавали кучу ненужных советов, как обычно )) в своей работе я не сомневаюсь - зато сомневаюсь в работе вашего сканера. Если он пашет как надо - приведите мне примеры ajax сайтов, кроме вконтакте и твиттара, которые индексируются вашим ботом.

Да, к стати на твиттере никакого тега в исходном коде что то не видно - с чего бы это. В контакте то-же самое.

И что прикажете делать? Клоакингом заниматься? самому вашему боту требуемое подсовывать? Так вы же сами за это баните, сами не работаете как надо, по документации, сами же за исправление этого и баните. Где справедливость? Гугл хоть немного сканирует, пытается... Ваш бот как спал так и спит...

Подскажите, нигде не могу найти ответ.

Можно ли для яндекс бота "подсовывать" (?_escaped_fragment_=) страницы без дизайна, т.е. только контент.
т.к. разрабатывать и поддерживать ещё серверную версию страниц с дизайонм - накладно.

чем это чревато?, не забанит ли мой сайт яндекс?

Спасибо.

Ребята, у вас баг.

У меня есть сайт полность на js.

Вот пример оригинальной ссылки:

/index.html#!service=1&work=&experience=&limit=&offset=

Вот то, что попало в Яндекс.Вебмастер

index.html?_escaped_fragment_=service%3D0%26work%3D%26experience%3D%26limit%3D%26offset%3D

Почему вместо &= вы заэнкодили %3D0%26 ? После такого преобразования ни одна ссылка не работает. А вывод - парсинг хэша становиться совсем хардкорным. Действительно получается, что мастера должны сделать очень много работы за вас!

подскажите как сделать ссылку site.ru/?_escaped_fragment_=blog

конкретно каким образом вставить знак вопроса и знак равно, не принимает у меня

Здравствуйте, все сделал как и описано в помощи Яндекса выше и здесь http://help.yandex.ru/webmaster/?id=1125296. К сожалению, кроме главной, и то без дескрипшена ничего не проиндексировал Яндекс(((

Остался еще открытый вопрос по карте сайта (у меня вордпресс):

какие урлы включать в него?

у меня доступно 3 типа:

обычный без # , т. е. сайт/страница

#! - сайт/#!страница,

и с ?_escaped_fragment_=

Не нашел в сети ни одного генератора карты сайта для ajax

Подскажите, плиз выход

Вот и появились первые страницы с AJAX в поиске, и поэтому есть желание немного рассказать об опыте индексации AJAX'а Яндексом. При этом, с одной стороны, надеюсь, что Яндекс после полугода эксплуатации может быть исправит ошибки своих ботов, а с другой, возможно это поможет другим разработчикам сайтов на AJAX избежать борьбы с "ветряными мельницами".

Главная проблема ботов Яндекса состоит в том, что они совершенно некорректно обрабатывают линки на страницы содержащие параметры (query string), причем обработка также зависит и от того, откуда бот взял данную ссылку, например:

1. Ссылка из внешнего источника в виде site.ru/?param1=value1¶m2=value2#!hash парсится ботом "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" как /?_escaped_fragment_=hash¶m2=value2¶m1=value1 и соответственно в индекс яндекса она попадает в виде site.ru/#!hash¶m2=value2¶m1=value1, о результатах такого перехода я думаю догадаться можно.

2. Тот же самый линк новостным ботом Яндекса "Mozilla/5.0 (compatible; YandexNews/3.0; +http://yandex.com/bots)" будет преобразован в следующую строку /?param1=value1¶m2=value2?_escaped_fragment_=hash (обратите внимание на второй вопросительный знак), т.к. написано в документации (читай ТЗ) "#! заменяется на ?_escaped_fragment_" значит так и должно заменяться и наплевать на другие параметры.

3. Если внутрення ссылка в вашем html-коде имеет вид href="#!hash", а сама теукщая страница имеет параметры, то "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" так и пойдет индексировать site.ru/?_escaped_fragment_=hash и плевать он хотел на параметры открываемой при этом страницы.

И только если индексируется правильная (с точки зрения бота) внутрення ссылка вида href="?param1=value1¶m2=value2#!hash" (и только в этом случае) бот "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" проиндексирует ее правильно.

Спасибо всем. И успехов вам в индексации ваших сайтов.

Например, страницы навигации будут иметь такой вид:
magazin.com/cat123/#!p_1 - главная категорий, на которую будут вести внутр. ссылки
magazin.com/cat123/#!p_2

Можно ли, в html версиях magazin.com/cat123/?_escaped_fragment_=p_1 или magazin.com/cat123/?_escaped_fragment_=p_4 поставить редирект на страницу  magazin.com/cat123/, в которой будет выводиться весь товар без разбивки на страницы.
И считается ли это клоакингом?

Прошел год, аякс по-прежнему с костылем.

То есть тем у кого сайт на простом удобном cargocollective, и нет никакой возможности влезть в код, можно забыть о поиске.

Почему гугл то все индексирует легко?

У меня такой вопрос:

На странице 5 табов, контент которых под хеш-ссылками #tab1 #tab2 ... #tab5 (переключение на классах из JS). Если сделать все по вашей схеме, то ссылка в серпе будет вести на страницу с уже открытой необходимой вкладкой?

на какой странице робот будет икать HTMLконтент, если увидит ссылку вида  http://www.examplesite.ru/#!blog#!.html

робот заменит только певый #! или оба? или вообще затупит и никуда не пойдет?

А какая ситуация на январь 2015 года? 
Все еще необходимо делать хешбенги? 

Если ссылка такого вида - examplesite.ru/blog, то чтобы указать поисковику на HTML-версию страницы можно использовать как на главной странице, или только так - examplesite.ru/#!blog

ничего не понятно. сайт поставили на индексацию андексом месяц назад - до сих пор ничего не проиндексированно. что сделать нужно? сайт сделан в редакторе wix

сайты на emberjs или angularjs с URL'лами где не используется '#' (прим. http://exmpl.com/blog/pos/111) индексируются нормально? или нужны HTML версии?