Быстрое индексирование в Поиске для сайта

Пост в архиве.

27 января 2011, 15:34

Сегодня на сервисе Яндекс.Поиск для сайта появилась новая возможность – отдельный поисковый робот.

Для тех, кто не знает: Поиск для сайта – это сервис, который помогает организовать без лишних хлопот поиск по своему ресурсу. Для индексирования используется основной поисковый робот Яндекса. А чтобы вы могли ускорить индексирование некоторых страниц и предоставлять посетителям самую свежую и полную информацию, мы добавили к основному роботу дополнительного. Этот робот оперативно обходит сайты, на которых установлен наш Поиск, и строит дополнительный индекс, который используется только при поиске через форму сервиса Поиск для сайта.

Владельцы сайта могут самостоятельно сообщить роботу о новых или обновленных страницах на своем сайте – так будет совсем быстро. Для этого существует два способа: форма добавления страниц в разделе «Индексирование» и http-запрос. В обоих случаях необходимо подтвердить в Яндекс.Вебмастере права на тот сайт, на котором размещается поисковая форма.

Команда Поиска и роботы, большие и маленькие

54 комментария

Авторизуйтесь, чтобы оставить комментарий

Leventov

19 января 2016, 11:29

Попадание в дополнительный индекс может сказаться на скорости попадания в основной или нет?

delire

19 января 2016, 11:29

я думаю что нет - ведь ясно сказали, что роботы и базы будут разные

[M0HAX]

19 января 2016, 11:29

Тогда в чем отличие от обычных php скриптов поиска? Проиндексировал сайт , записалось в базу и все... Мне кажется единственный возможный плюс который может быть здесь, это более качесвенный сбор инфы индекса и дальнейшая обработка ее яндексом.

delire

19 января 2016, 11:29

смотрите ранее все делалось одним роботом а теперь разбивают на части т.к. образом снимают часть нагрузки - скорее всего единственная связь с основным роботом с роботом формы будет передача путей но новые документы - то же не плохо - своеобразная алтернатива/помощь сайтемеп.иксмелям хотя только после тестов можно будет сказать

просто я уверен что ввиду всех нововведений яндексу требуется разделение баз и их обработчиков для более явной структуризации работы

Leventov

19 января 2016, 11:29

и что что разные? может основной робот в первую очередь заглядывать будет на то, что дополнительный накопал, мало ли.

t1r1

19 января 2016, 11:29

Не может.

[M0HAX]

19 января 2016, 11:29

Тири))) Как всегда лаконично и по делу)

Пётр Сальников

19 января 2016, 11:29

Тири надо над своей внешностью поработать в первую очередь

aprioric

19 января 2016, 11:29

Вы точно её видели наяву?! :-)

nicknigger

19 января 2016, 11:29

Я думаю, там много эдаких мужичков с пузом и толстой жёппой. Типичных программистов с "двухлетним опытом работы в визуальной среде программирования Дельфи", приехавший в Москву, чтобы попробовать настоящий МакДональдс. Тири-тири, трали-вали, кто их там прощупает.

t1r1

19 января 2016, 11:29

Да, все именно так, вы нас разгадали :)

Роман Зиф

19 января 2016, 11:29

ты сам часто мозгами работаешь?

Disell

19 января 2016, 11:29

заспамят школьники

[M0HAX]

19 января 2016, 11:29

Не только))) Такую халяву никто бы не пропустил)

abrunov

19 января 2016, 11:29

Довольно интересно, посмотрим как это будет работать.

Пётр Сальников

19 января 2016, 11:29

Это показывает УБОЖЕСТВО поиска яндекса. Так как в обычном поиске яндекса не найдёш ничего и подсовываются говно дерьмо всякое прилизанное.

Об этом я много раз уже писал этим олухам.

Сейчас поиск, в основном, это сборище убожества и старых при старых страниц сайтов. Найти нужную информацию, а не шаблонную, невозможно в принципе. Так как в основном поиске находятся одна из 1000 страниц сайта. Тугодумость тех кто делал это алгоритм на лицо.... в принципе это общий кризис образования и науки в России.... ну ладно не будем об больном, тем более смысла это писать здесь нет.

То есть яндекс нам говорит.... мы тут проиндексировали пару страниц сайта а что там мы не знаем....

ТО ЕСТЬ ПОИСК В ЯШЕ ЭТО ПОИСК ГЛАВНЫХ СТРАНИЦ САЙТА И ПРОЦЕНТОВ 10 ОТ ОСНОВНОГО КОНТЕНТА СТРАНИЦ.

Ёпт ребятишки из яши вы не правильно называетесь. Яндекс это не поисковая машина а каталог с кратким описанием сайтов, представленных как "поисковая выдача".

И ЕЩЁ РАБОТНИКИ ЯНДЕКСА ВАМ НЕ НАДОЕЛО ВРАТЬ?

m-senin

19 января 2016, 11:29

Поиск по всему интернету != Поиск по сайту

В интернете часто одна и та же информация продублированна много раз.
Так что можно найти информацию на другом сайте (особенно если ему больше доверяешь). И поэтому вовсе не обязательно тащить в индекс все страницы всех сайтов. Важно же, чтобы информация была найдена.

А вот при поиске по сайту это уже не так. Тут хочется всё и быстро.

apollo2k4

19 января 2016, 11:29

Ну что самоутвердился? Полегчало?

А вообще как не крути, а Яндекс превосходит Google на русскоговорящих запросах.
«Если ты такой умный, то почему такой бедный» – напиши поисковик который будет моментально обновлять индекс десятков миллионов страниц… Покажи, что ты один круче Яндекса

Пётр Сальников

19 января 2016, 11:29

мальчик, идиотов я учу за деньги

apollo2k4

19 января 2016, 11:29

А тут ты тогда что делаешь? Иди учи/деньги зарабатывай

Пётр Сальников

19 января 2016, 11:29

читай выше

m-senin

19 января 2016, 11:29

Не надо хамить.
Следующий подобный комментарий будет удалён.

nicknigger

19 января 2016, 11:29

Б...буду, чувак, да ты крут :) Лично удаляешь каменты? Или тебе помощники положены?

elsit-video

19 января 2016, 11:29

Аааа, блин, мою мысль озвучили. Убожество. Видать - так лень работать разработчикам яндекса, что они придумали переложить часть работы на владельцев сайтов.

shadowerus

19 января 2016, 11:29

Полностью согласен!!! (+1)

Когда-то и Рамблером многие пользовались, а теперь?

Они хотят повторить его судьбу!!! :-D

Если они не одумаются, то через пол-года - год все уйдут на Гугль, а веб мастера в robots.txt будут запрещать яшке посещать свои сайты. :-P

bzfrmt

19 января 2016, 11:29

В сутки допускается не более 100 урлов.
Вопросы:
Сутки это за кокретное число не более 100 урлов или за последние 24 числа не более 100 урлов? Если по дате то дату отсчитывать по какому часовому поясу?
Планируется ли увеличить лимит?
Что если я буду слать более 100 урлов в сутки, просто проигнорируются адреса? Какой ответ я получу от сервера при положительном и отрицательном приёме урла вашим сервером?
Возможны ли санкции (например бан или отключение) ко мне ели я буду слать более 100 урлов в сутки?

Спасибо :)

bzfrmt

19 января 2016, 11:29

Живые есть?

t1r1

19 января 2016, 11:29

Добрый день,
За конкретное число. Дату отсчитывать по Москве.
Будем ли увеличивать лимит? Посмотрим. Мы же только что запустили эту функциональность. Возможно, это будет зависеть от сайта и от активности поиска на нем.

>>Что если я буду слать более 100 урлов в сутки, просто проигнорируются адреса? Какой ответ я получу от сервера при положительном и отрицательном приёме урла вашим сервером?

Если в очереди уже стоит 100 урлов, более новые заменят старые, если те еще не ушли на обход. Про превышение отдельно не сообщаем.

>>Возможны ли санкции?

Если лишняя нагрузка будет мешать, то могут быть санкции. Ну вы уж не переусердствуйте, пожалуйста :)

bzfrmt

19 января 2016, 11:29

Спасибо

bzfrmt

19 января 2016, 11:29

Как здорово на мне сидит корона.
Прям как по мне сшита :)

TedVLee

19 января 2016, 11:29

поставил на два своих сайта, посмотрю как быстро статьи для миры войдут в индекс

Alex Klo

19 января 2016, 11:29

поставил попробовать...
чой-то высоту полосы не задать...
ширину получилось (а то растягивалась на всю страницу),
ну и вид кнопки - это отдельный разговор...

надеюсь, можно код менять? :-)

Alex Klo

19 января 2016, 11:29

поставил с выключенным параметром "выбор области поиска", а в результатах поиска всё равно появляется выбор "на сайтев интернете"...

m-senin

19 января 2016, 11:29

Может код формы не обновили?
Должно быть webopt: false

Alex Klo

19 января 2016, 11:29

повторяю: в самой форме выбора нет.
выбор появляется в результатах поиска

Наталья Митрофанова

19 января 2016, 11:29

Здравствуйте, как можно задавать количество выводимых результатов?

BSB

19 января 2016, 11:29

Я вот только одного не понимаю: если я у себя на сайте http://realbsb.ru выложил ссылки на государственные ресурсы (тем самым формируя справочник), то, насколько я понимаю, я попал в черный список со своей кучей ссылок - Страниц для поиска 0.

Теперь я подобрал все ссылки в noindex, но будет ли увеличено количество страниц, или это навечно?

t1r1

19 января 2016, 11:29

Обратитесь, пожалуйста, в службу поддержки через Яндекс.Вебмастер.

nicknigger

19 января 2016, 11:29

Только не называйте службу поддержки Яндекс-Вебмастера идиотами и ослами. Как показывает практика, они не любят таких писем

t1r1

19 января 2016, 11:29

Лучшее письмо в службу поддержки - это конструктивное изложение проблемы\вопроса с приведением адреса сайта, если нужно - скриншотом и техническими деталями. Ни слово "идиот", ни слово "осел" не являются техническими деталями или адресом сайта, как их ни крути.

Алексей Кляузер

19 января 2016, 11:29

Отлично! Так его! Ату - ату :)

Виталий Б.

19 января 2016, 11:29

Интересная фишка, хотя и неоднозначная. В таком случае, было бы неплохо иметь возможность в роботс.тхт роботу внутреннего поиска прописывать отдельные правила. Например, вебмастер запретил к индексации основному роботу раздел, содержание которого дублируется в интернете, но востребовано пользователями. Ну и для отдельных страниц, у которых в тегах прописано ноиндекс, нофоллоу.

Виталий Б.

19 января 2016, 11:29

Но которые хотелось бы, чтобы находились поиском по сайту.

[M0HAX]

19 января 2016, 11:29

Думаю если бы не было логотипа и было больше вариантов формы, тогда у большего кол-ва юзеров ваш поиск стоял, а так совсем не в тему, даже если предположить невероятное, что он лучше чем специализированные пхп-шные скрипты. А прятать лого и т.д. для впсисания его в диз. - овчинка выделки не стоит. Мания величия - не есть хорошо

t1r1

19 января 2016, 11:29

А чем Вам мешает логотип?
И какие хотелось бы варианты форм, расскажите, если не секрет?

nicknigger

19 января 2016, 11:29

Тири, если бы у вас на плече или на попе каждый левый дядя оставлял поутру тату со своим именем - вас бы не напрягало?

Лого Яндекса на постороннем сайте - это как надпись "Яша и Сега здесь были".

Ну, были и были - куда ж от вас денешься? Но зачем на каждому углу кричать о том, что поимели очередной сайтик, владелец которого не может даже на CMS с нормальным поиском накопить? Кто-то марки коллекционирует, кто-то лифчики с трусиками, кто-то домены покоренных говносайтов :)

t1r1

19 января 2016, 11:29

Ну зачем же вы бренд как мировое зло воспринимаете? Вот вы носите куртку Nike. Ну хорошо, я ношу :) Получается, что Nike меня добавил в коллекцию? И это я еще за куртку денег заплатила. А она мне - все равно бренд штампует. Ужасно!

Мы предоставляем сервис создания поиска по сайту и его поддержку бесплатно. Но оставляем за собой право использовать бренд, чтобы продвигать продукт и дальше.

[M0HAX]

19 января 2016, 11:29

Тем что вписывать любую картинку в диз сайта надо с умом. Ограниченность по вашей цветовой гамме этого сделать не дает. И в общем согласен с Drima (грубовато, но правильно). Вам что больше пользы дает : само присутсвие вашего поиска на сайте или логотип? ИМХО когда вижу на сайтах подобные лого, сразу возникает подозрение о непрофессиональности вебмастера, который не смог написать/найти/(или да что уж там)купить рабочие скрипты без "ярлыков"!.

Ну и в конце - смысл закидывать этот поиск с ЛОГО, если есть бесплатные скрипты поиска, которые не хуже справляются на сайте, БЕЗ лого? (И пусть это будет вопросом - расскажите плюсы отличия вашего скрипта, если они есть, после чего сразу захочется ваш поиск поставить и лого на пол страницы)

P.S. Ваш пример с курткой не особо удачен: по процентному соотношению логотип найка на всей куртке и пол процента не занимает, а ваш на поиске под 20% - лишь бы не проглядели.

nicknigger

19 января 2016, 11:29

"Поиск для сайта – это сервис, который помогает организовать без лишних хлопот поиск по своему ресурсу"

Это для пользователей из Челябинска?

Тогда надо писать так:

"Что такое "поиск на сайте"? Поиск на сайте - это, блин, такая хрень, которая является поиском по всему, блин, сайту"

saskeitaci

19 января 2016, 11:29

Прямо сейчас попробую со своим блогом, новость просто отличная!

Алексей Кляузер

19 января 2016, 11:29

Отличная штука! Надо будет попробовать.

t80y

19 января 2016, 11:29

С трудом вериться.

petr-vsv

19 января 2016, 11:29

Интересно, а как второй робот справится с моим сайтом Последние новости с индексацией 35К страниц?

t255

19 января 2016, 11:29

Прошу ответить на вопрос, робот обнавился в феврале-марте, и вдруг пропал мой сайт из поисковой выдачи, никогда не занимавшийся ни какими делами не одобряемыми Яндексом, на нем просто авторские статьи по организации праздников и иллюстрированные отзывы о моих путешествиях. Более ничего. Нет сайта t255.narod.ru в поисковой выдаче уже четвёртый месяц. Служба поддержки этот факт объяснить не может, пишут мы не поймем что не нравится поисковому роботу и не могут указать причину бана сайта. Вот и вопрос: может в этом новом обновлении робота что-то не всё в порядке, или просто конкуренты по знакомству попросили работников Яндекса снять его с выдачи, без объяснения причин. Обидно, на написание статей ушло почти пять лет, и всё это время всё было нормально. Я даже специально удалял все статьи, что выложил за два последних года, оставил только проверенные трёхлетней давности. Никакого эффекта, сайт под запретом. Есть ли хоть один работник, который сможет мне ответить на простой вопрос - За что я наказан?!!! и что надо сделать чтобы снять наказание?!!! Тут работники пишут, что если какая-то вредоносная программа взломала сайт, встроилась и начала портачить, и то владельцу сайта отправляют письмо с просьбой в кратчайшие сроки разобраться с проблемой. У меня всё многократно перепроверено! Что делать я не знаю, служба поддержки мне либо не может помочь, либо не хочет. Как же быть, помогите! Юрьев Андрей a2550768@mail.ru