Продолжаем рассказ о "Магадане". В новой программе улучшена скорость поиска по запросам, по которым находится большое число документов. Для этого мы применили технику под названием "прюнинг". Время поиска сократилось за счет появления еще одной стадии поиска -- на ней отсекаются заведомо нерелевантные документы.
Как это происходит? В формулу ранжирования, которая определяет релевантность страниц, входит множество факторов, как зависящих от запроса, так и статических по отношению к нему (они характеризут страницу или сайт, а не пару "страница-запрос"). На стадии прюнинга на основе всех статических факторов для каждого документа оценивается вероятность того, что он окажется релевантным запросу. Если вероятность низкая, документ дальше не анализируется.
По таким запросам как [новости] и [жж] время поиска было сокращено в десятки раз. При этом ускорение поиска было достигнуто без всякого ухудшения его качества.
Андрей Гулин, ускоритель
Между прочим,
Яндекс старается дать ответ на запрос, сократив время и усилия пользователей. Спрашиваете "погода"? Отвечаем: "Москва, +12 °C, дождь" (см. ответ в первой строке над результатами поиска), если вы живете не в Москве, погода будет показана для вашего города. Спрашиваете "Елена Колмановская"? Отвечаем: "Елена Колмановская — Яндекс, главный редактор". И ссылка на пресс-портрет, составленный по материалам СМИ. Мы называем такие подсказки "колдунщиками", потому что от них иногда создается впечатление, что поисковая система понимает всё, что вы хотели, и даже больше. :)