Блог Яндекса для вебмастеров

Яндекс.Поиск для сайта: новая технология индексирования

Пост в архиве.

Яндекс.Поиск для сайта переходит на новую технологию - SaaS-поиск, которая будет обеспечивать максимальную полноту и повышенную скорость индексирования для подтвержденных сайтов.

Как вы могли заметить, последние полгода мы не очень часто радовали вас значительными обновлениями нашего Поиска для сайта. Дело в том, что все силы нашей команды были направлены на одно, но очень важное изменение: переход сервиса на SaaS-технологию.

Изначально наш сервис был основан на поисковых технологиях большого Яндекса. И наряду со всеми его достоинствами (учетом разных форм слов, исправлением ошибок, опечаток, неправильной раскладки и распознаванием разных вариантов написания слов) у него были и свои недостатки. К таковым можно было отнести не всегда высокую полноту и скорость индексирования, которые были унаследованы от большого поиска. Ведь для большого поиска задержка с индексированием в несколько часов не всегда является критичной. Однако важно, чтобы в поиск для сайта страница попадала сразу после появления. Поэтому действительно хороший поиск для сайта – это не просто поиск с учетом разных форм слов, но и со 100% полнотой и высокой скоростью индексирования.

Именно таким теперь стал наш поиск, теперь мы можем максимально быстро добавить все известные нам страницы сайта в поиск. Пока, правда, только для тех сайтов, которые подтверждены в Яндекс.Вебмастере под тем же аккаунтом, под каким и создан поиск для этого сайта на сервисе Яндекс.Поиск для сайта. Мы рекомендуем всем владельцам сайтов подтвердить на них права, так как дальнейшие улучшения сервиса в значительной мере будут направлены именно на развитие новых возможностей поиска по подтвержденным сайтам. Изменить поисковую технологию можно в настройках, в разделе «Область поиска»:


Индексируем еще больше, еще быстрее
Команда Поиска для сайта

45 комментариев
Евгений Т.
19 января 2016, 11:00

Это хорошо, давно пора было обновить поиск для сайта.

Хочется верить, что с релевантностью тут будет еще лучше.

Елена Першина
19 января 2016, 11:00

Спасибо, над релевантностью работаем. Думаю, скоро будет, чем тут еще больше порадовать. 

Если сайт будет индексироваться быстрей, то все новые изменения будут быстрей появлятся в самом поиске Яндекса? Или это совершенно отделный продукт? 

Евгений Корнев
19 января 2016, 11:00

Присоединяюсь к вопросу.

Будет ли какой то профит от SaaS поиска непосредственно поисковой выдаче "большому" Яндексу?

Ускорит ли это хоть как то скорость индексации сайтов в основном поиске?

Захотели :-D )))

Елена Першина
19 января 2016, 11:00

Мы стараемся делать так, чтобы использование какого-либо нашего сервиса напрямую не влияло на скорость индексирования или ранжирования в поиске. Этот принцип для нас был важен и в старой технологии, и при переходе на SaaS. Мы просто стараемся делать хорошие сервисы, которые полезны для пользователей и сами по себе.

Евгений Корнев
19 января 2016, 11:00

А какой смысл вам копить отдельные базы данных и отдельные алгоритмы? Не проще ли строить сервис на базе уже существующего решения? Плодить клоны решений не есть гуд, вроде как.

Елена Першина
19 января 2016, 11:00

Наша задача – создать полезный продукт. Наилучшим путем в данном случае оказалась SaaS-технология.  

Сергей Логвиненко
19 января 2016, 11:00

Молодцы! Так держать! Теперь заменю поиск от гугла Вашим!

не торопись...

Елена Першина
19 января 2016, 11:00

А вас что смущает?

Код нужно переустанавливать или достаточно просто выбрать SaaS-поиск и сохранить ? 

Елена Першина
19 января 2016, 11:00

Нет, код обновлять не нужно. Достаточно просто переключить и подождать, пока сайт проиндексируется при помощи новой технологии.

Александр Эрлих
19 января 2016, 11:00

Здравствуйте.

1)Значит ли это, что механизм "Указать URL с помощью HTTP запроса" теперь стал неактуальным? 

2)Значит ли это, что ускорится также и удаление из индекса ненужных страниц - у меня в проекте с этим проблема гораздо больше, чем с добавлением новых. 

Спасибо.

Елена Першина
19 января 2016, 11:00

1)    1) Он стал менее актуален, но если вдруг и новой скорости недостаточно (хотя она выросла в разы), то инструмент пингов по-прежнему работает.

2)     2) Для Поиска для сайта – да.

Проиндексировано: 0% от общего объема

Как бысто проиндексируется сайт объемом 200 000 страниц?

Королёв Дмитрий
19 января 2016, 11:00

Яндекс такими массивами не оперирует :)

Елена Першина
19 января 2016, 11:00

Была задержка с изменением статуса, но не с самим индексированием. Проверьте сам поиск, пожалуйста, все должно работать.

Александр Эрлих
19 января 2016, 11:00

Странные результаты в этом варианте поиска.

Во-первых, вообще субъективно результатов стало меньше.

Во-вторых, проблемы на конкретных примерах. Например, есть два поиска (searchid 2193180 и 2201119). Первый - по всему сайту, второй - по части страниц. В итоге по одному и тому же запросу первый (по всему сайту) выдаёт меньше результатов, чем второй (по части страниц). Все поиски полностью проиндексированы.

Елена Першина
19 января 2016, 11:00

Можно пример запроса для обоих поисков? Такого быть не должно. Сейчас же проверю.

Александр Э.
19 января 2016, 11:00

Сейчас ситуация изменилась. Теперь просто нет никаких результатов или они единичны.

Сравните 

Большой поиск - http://yandex.ru/search/?text=эдельвейс&lr=213&site=www.zelenograd.ru (71 ответ)

 

SaaS - https://www.zelenograd.ru/search/yandex/result.php?searchid=2193180&text=эдельвейс&web=0 (1 ответ)

 

 

Елена Першина
19 января 2016, 11:00

Спасибо! Сейчас проверю, в чем дело.

Александр Эрлих
19 января 2016, 11:00

или вот ещё пример (переключил поиск по части страниц на стандартный)

https://www.zelenograd.ru/search/yandex/result-news.php?searchid=2201110&text=эдельвейс&web=0 (21 ответ)


А вот по всем страницам SaaS https://www.zelenograd.ru/search/yandex/result.php?searchid=2193180&text=эдельвейс&web=0 (1 ответ) 

 

Елена Першина
19 января 2016, 11:00

Проверила, это происходит из-за ваших настроек раздела исключения. То есть по понятным причинам на большой поиск настройки вашего раздела при поиске через оператор site не учитываются. Удалите исключения, если их тоже нужно учитывать в поиске.

Елена Першина
19 января 2016, 11:00

И еще, у вас большая часть индекса в поиске для сайта - вида http://www.zelenograd.ru/catalog/realty_result.php* - это страницы поиска, они не нужны в индексе, их надо закрывать в robots.txt. В итоге обход полезного контента существенно замедляется. В большом поиске URL такого вида тоже есть - их меньше, но все равно.

 

Вы все это можете увидеть в Яндекс.Вебмастере - на странице "структура сайта", там более N00 000 загруженных страниц - которые, по сути бесполезны.

Александр Эрлих
19 января 2016, 11:00

Елена, спасибо. В robots.txt действительно пропуск был. Сейчас ещё раз поэкспериментируем. Радует, что проблема на нашей стороне:)

Здравствуйте!

На моем сайте установлен Яндекс-поиск по сайту. Так как у данного сайта после индексации роботом Яндекса в поиск попала только одна главная страница, то только по этой странице и идет поиск по сайту. Форма яндекс-поиска по сайту ищет только на одной странице.

Подскажите, пожалуйста, можно ли настроить яндекс-поиск по сайту так, чтобы он искал по всем страницам сайта, не смотря на то, попала ли страница в страницы поиска после индексации сайта роботом.

Елена Першина
19 января 2016, 11:00

Добрый день!

Да, конечно ,как раз для этого и запустили функциональность SaaS-технология, просто создайте поиск для сайта под тем же аккаунтом, под каким ваш сайт подтвержден в Яндекс.Вебмастере, и включите SaaS-поиск в настройках «Область поиска» или «Первый шаг». Поиск для сайта начнет работать по всему сайту.

Спасибо! Да, теперь поиск заработал.

Шторы на заказ и пошив штор
19 января 2016, 11:00

Добрый вечер ! Подскажите почему не индексируется мой сайт http://www.gladpro.company/ ? И в выдочи по шторам на заказ на 5 странице? :-|

Елена Першина
19 января 2016, 11:00

Вы сейчас про Поиск для сайта спрашиваете или про большой поиск Яндекса? 

Шторы на заказ и пошив штор
19 января 2016, 11:00

про большой поиск

 

Елена Першина
19 января 2016, 11:00

Тогда с этим вопросом лучше всего обратиться в службу поддержки Яндекс.Вебмастера, ссылка на обратную связь внизу страницы сервиса с общей информацией о сайте.   

Здравствуйте, есть ли возможность подключить Яндекс-поиск к закрытому (служебному под паролем) сайту. Для большого Яндекса сайт недоступен и не должен быть доступен. Заранее спасибо.

Елена Першина
19 января 2016, 11:00

Добрый день! 

Сейчас такой возможности нет, но мы думаем об этом.

В какие сроки ждать?

Елена Першина
19 января 2016, 11:00

К сожалению, не могу тут пока сказать что-либо определенное. 

Подскажите в плагине для Джумлы 3.Yandex Site Search Pinger

нужно указать Ключ, Логин и Айди поиска. 

С последним понятно а вот где брать ключ и какой именно логин?

Елена Першина
19 января 2016, 11:00

В разделе «Индексирование» в настройках вашего поиска. 

Alexander Gomzyakov
23 апреля 2016, 12:46
Добрый день, Елена.


Позавчера добавили SaaS-поиск на один из проектов который, в настоящее время, находится в стадии "перманентной" разработки на shared-хостинге. После этого хостинг-провайдер начал заваливать сообщениями о превышении квот по базе данных и процессорному времени.


Очевидно, это связано с первичной индексацией сайта, но возникает вопрос: за счет чего SaaS-поиск Яндекса шустрее индексирует сайты? Просто оперативно перебирая страницы сайта или есть способ сообщить SaaS-боту о появлении нового (изменении старого) контента?
Проиндексировано: 0% от общего объема. Висит целый день. Что можно сделать?
Елена Першина
5 марта 2017, 19:55
Евгений,
Напишите, пожалуйста, в нашу поддержку: https://yandex.ru/support/site/troubleshooting/feedback.xml Мы обязательно проверим, в чем дело. 
Евгений Гашицкий
27 октября 2020, 10:19
На мой сайт последние два дня кто-то сливает отказы. В метрике вижу посетителей, яндекс не определяет их как ботов. Переходов очень много, все с моб.устройств. Для чего-то боты заходят с социальных сетей, не с поиска, хотя может и с поиска, но я не увидел. Это может повлиять на позиции сайта в выдаче?
platon
Сотрудник Яндекса27 октября 2020, 15:00
Евгений Гашицкий,
если ваш сайт продвигается в интересах пользователей, не используя каких-либо техник, направленных на обман поисковых систем, то вам не о чем волноваться, так как при разработке наших алгоритмов мы, конечно же, учитывали возможность злоумышленников повлиять на позиции того или иного сайта и минимизировали ее.
Также хочу вас заверить, что мы знаем о разных типах поведения злоумышленников, вам нет необходимости предпринимать дополнительные действия по защите сайта.
Михаил Орлов
3 ноября 2023, 04:46
Если создать поисковую тему, и она будет отмодерирована, то всё равно поиск будет происходить без учёта сайтов, добавленных в поисковую тему для данного инструмента. Почему? В описании написано, что можно использовать до 100.000 сайтов в поисковых темах, если не хватает стандартных 50, но не работает.