Блог Яндекса для вебмастеров

Как быстро удалить из Поиска группу страниц?

2 августа, 21:13

Порой возникают ситуации, когда из Поиска нужно быстро удалить большой объем данных: весь сайт, целый раздел или страницы с параметром. Теперь сделать это стало легко, так как сегодня мы доработали функциональность «Удалить URL»: в инструменте появилась возможность удалять страницы сайта по префиксу при условии, что этот запрет реализован и в robots.txt.

Так, если ввести в поле адрес сайта

http://example.com/

то это будет означать, что весь сайт нужно удалить из поиска.

А если ввести только раздел, например, вот так:

http://example.com/catalogue/

то из поиска нужно удалить все страницы этого раздела.

Наконец, если вам мешают страницы с параметрами в URL, например, после символа?, то  укажите 

http://example.com/?page

чтобы они пропали из поиска. При этом, конечно, не забудьте продублировать запрет в robots.txt, иначе команда не сработает.  Указывать можно как абсолютные, так и относительные пути, как и в robots.txt. 

Через несколько часов после использования инструмента указанные страницы должны будут пропасть из поиска. Чтобы вернуть раздел обратно в Поиск, его нужно будет снова разрешить к индексированию в robots.txt, и отправить на переобход.

Читатели нашего блога, скорее всего, не раз встречали пожелания о таком инструменте в комментариях, и мы рады, что смогли воплотить эти пожелания в реальный инструмент. 

Команда Вебмастера

P. S. Подписывайтесь на наши каналы
Блог Яндекса для Вебмастеров
Канал Яндекса о продвижении сайтов на YouTube
Канал для владельцев сайтов в Яндекс.Дзен

54 комментария
Здорово конечно, были ситуации пару раз когда пригодилась бы эта возможность. Но все таки, вот бы загонять страницы в индекс поскорее, а не выгонять:) Переобход, что-то совсем долго работать стал
Обновлено 2 августа, 23:31
rutemaru,
тоже это заметила и решила проверить... поставила новые страницы (по одной) на переобход: написано, что в очереди, но она уже в поиске (смотрела ручками)... и так 7 раз подряд с интервалом в час-полтора, а восьмую не стала ставить на переобход и она в поиске не появилась. То есть у меня получилось, что все прекрасно и быстро работает, просто не отображается до обхода основным роботом и апа. Не знаю... может, только у меня так...
Хачатурова Надежда
4 августа, 13:27
arinok777,
не только у Вас. Отображение информации в вебмастере запаздывает. Случается, в метрике видно, что пришли на страницу из поиска Яндекса, а в проиндексированных ее нет. Однажды даже попыталась отправить url на переобход и получила ответ на запрос, что страница известна роботу, находится в поиске. Не совсем синхронно работают все инструменты. Но нам главное, чтобы она фактически присутствовала в выдаче. ))
Хачатурова Надежда,
точно :) главное — индекс :)
Елена Першина
Сотрудник Яндекса6 августа, 11:57
arinok777,
Проверим, спасибо!
Елена Першина
Сотрудник Яндекса6 августа, 11:59
arinok777,
да, проблему нашли, исправим максимально быстро! Простите, пожалуйста, за задержку с отображением данных ( 
Елена Першина,
ничего страшного, ведь все работает :) Просто не показывает, но это такое... Блинчик обычный, и тот комом бывает, а уж махина, как поиск... тут главное — вовремя и правильно донести до вас, что именно сбоит. И самим не ругать сразу, а проверить. Так меня Вы научили, Елена :) Не конкретно меня, конечно... но научили :)
Молодцы. Спасибо!
Вы лучше скажите, если 410 вместо 404 отдавать - Яндекс быстрее забудет о несуществующих уже страницах, или так и будет годами заходить и перепроверять?
ya.tim,

Идею с 410 я предлагаю Яндексоидам уже пару лет (на конференциях в кулуарах - говорил с разными сотрудниками, писал в техподдержку), но пока они не торопятся реализовать 410. На одном из сайтов у меня даже сделан тест по проверке 410 - толку пока никакого.
Oleg,
легче по маске отдавать 410, чем по маске строить robots.txt и потом еще изголяться в вебморде
ya.tim,
это если ждать, пока Яндекс сам примет решение, а если в «Удалить URL» отнести, моментально удаляется (когда отдает 404) и больше не проверяется. У вас не так?

Елена Першина
Сотрудник Яндекса6 августа, 12:49
ya.tim,
нет, лучше от 410 не станет. Обработаем как 404. 
Елена Першина,
Спасибо, значит будем пользоваться нововведением как-то...
vanya-goncherenko
3 августа, 04:02
Хорошая штука но поздно искал это решение лет 5 назад , Спасибо что сделали сейчас хоть уже хорошо 
Как удалить такое:
/?id=страница&utm_source=fact,
но это удалять нельзя - /?id=страница.

stam2010,
Проставь canonical на эти страницы
SAN6083,
он уже давно стоит
stam2010,
и доолго не пропадают после установки каноникал? 
trustttt,
после установки каноникал такие страницы наоборот периодически появляются в поиске или в статистике обхода. Иногда появляется 301 Moved Permanently. Но страница с этим окончанием открывается, перенаправление сделать не получается.
Если нужно запретить страницы, урлы которых содержат ?x=1
то как правильно прописать это в роботс, так:
disallow: /?x=1
или так
disallow: /x=1?
Обновлено 3 августа, 08:38
Merrik.Meifeir26
3 августа, 08:57
hivemed,

disallow: *?x=1
Обновлено 3 августа, 08:58
Если я добавлю в robots.txt директиву, к примеру:
"Disallow: /catalog/"
а в инструмент отправлю:
"/"
Инструкция будет проигнорирована, или из индекса удалят только /catalog/* ?
stalker-crew,
Думаю удалят всё, а повторно робот когда придет проверять, проиндексирует все кроме каталога.
Добавил в robot.txt, но все равно ругается что не может удалить, так как в роботах нет. Пробовал обновлять в разделе работы с этим файлом, бесполезно. Вебмастер видит эти строчки в роботах, я проверял, но удалять через префикс не даёт.
Елена Першина
Сотрудник Яндекса6 августа, 12:51
rakshasik80,
можете в поддержку продублировать, проверим. Но по описанию в блоге гадать не хочется ( 
Елена Першина,
Прошло некоторое время, что-то где-то у вас обновилось и больше не ругается, если честно лень дальше этим заниматься.
Елена Першина
Сотрудник Яндекса6 августа, 16:30
rakshasik80,
поняла, спасибо. 
Спасибо, Яндекс, опять полезнота! Можете немного подробнее рассказать про инструмент:
1) Как быстро отрабатывает инструмент и зависит ли это от объема страниц удаляемой по префиксу выборки?
2) Будет ли пометка какая-то, что страницы удалены (как в инструменте переобхода, что робот обошел)? (не было еще возможности протестировать на реальном проекте)
Елена Першина
Сотрудник Яндекса6 августа, 16:37
anton.shaban,
1. От объема не зависит, несколько часов.
2. Будет в страницах в поиске, но через некоторое время после удаления страниц. 
Есть страницы пользователей /pm_profile?uid=Pumpkin
В роботсе как прописать? "Pumpkin" - имена пользователей.
И какой префикс ставить на удаление всех пользователей?
platon
Сотрудник Яндекса6 августа, 10:22
Albertych,
чтобы запретить все страницы данного раздела, можно использовать директиву вида:
Disallow: /pm_profile?uid=
А на удаление при этом добавить страницы таким образом:
/pm_profile?
platon,
Благодарю
где тут кнопка лайк?)))), -лет 5 жду эту функцию) улучшить бы как-то общение Яндекса с веб оптимизаторами и веб мастерами))) раздел что ли сделайте?)
Обновлено 3 августа, 13:12
Алексей Курилкин
3 августа, 13:43
Полезно, спору нет)
Сделайте возможность выгружать информацию по внутренним ссылкам (например 404-е)
Класс!!!
sergej-saglow222
4 августа, 05:07
Функция "удалить урл" существует давно, а пишите об этом только сейчас. Как же матюкался, когда урл не хотел удаляться, писалось что-то про роботс. 
platon
Сотрудник Яндекса4 августа, 17:31
sergej-saglow222,
для удаления страницы через инструмент, она должна отвечать http-кодом 403/404, либо быть запрещена в файле robots.txt сайта или при помощи мета-тега noindex. Проверьте, пожалуйста, что страница соответствует данным требованиям, перед добавлением ее в инструмент. Если же страница недоступна, но добавить ее не удается, напишите нам об этом через форму обратной связи, мы посмотрим, в чем может быть дело: https://yandex.ru/support/webmaster-troubleshooting/site-indexing/noindex-robotstxt.html .
Работает это так же как и раньше, вчера поставили на удаление 4 сайта, ни один не ушел из поиска за несколько часов, до сих пор все в поиске сидят.
Хачатурова Надежда
4 августа, 13:38
Спасибо за полезный инструмент! Не перестает Яндекса радовать. ))
Здравствуйте. Такой вопрос. Как удалить отдельную страницу сайта из поиска, если сайт сделан на конструкторе (Jimdo). В поиске отображаются и карта сайта, и вход в панель управления сайтом, и раздел "О компании Jimdo".
platon
Сотрудник Яндекса6 августа, 14:33
ONFFKGS,
напишите нам в поддержку, пожалуйста: https://yandex.ru/support/webmaster-troubleshooting/site-indexing/noindex-robotstxt.html . 
Не прошло и двадцати лет....
Подождите, но ведь параметры лучше ставить в Clean-param ... 
Но тогда не сработает "Удалить урл"...
*мем с грустным человеком, уронившим голову на руки*
Обновлено 7 августа, 13:04
platon
Сотрудник Яндекса9 августа, 10:08
girl-without,
инструмент удаления URL предназначен для исключения из поиска недоступных и удаленных страниц. Директива Clean-param не запрещает индексирование страниц, он только указывает, что страницы должны участвовать в поиске по "чистому" адресу, при этом они остаются доступными для посещения, поэтому добавить их в инструмент действительно не получится. В соответствии с директивой Clean-param ссылки с get-параметрами смогут выпасть из поиска автоматически в течение 2-3 недель.
girl-without,
спасибо!
И ещё вопрос.
Вот такая конструкция сработает /catalogue/*/images/ - если мне нужно удалить не корневой раздел, а все страницы с элементом /images/ в урле?
platon
Сотрудник Яндекса9 августа, 14:08
girl-without,
к сожалению, таким образом удалить страницы не получится. Возможно только удалить, например, все страницы раздела /catalogue/ по схеме, описанной в блоге.
platon,
спасибо за ответ!
Термо Маркет
9 августа, 14:59
Ластик-пейдж 0_У)
Термо Маркет
9 августа, 15:00
Теперь пароль от кабинетов надо хронить пуще прежнего.