Изменения в обработке robots.txt

Хотелось бы спросить у первоисточника...
Раньше было модно дублировать для "User-agent: Yandex" - всё, что написано для "User-agent: *" без изменений.
Сейчас можно писать только User-agent: * ? Или нужно дублировать для роботов Яндекса отдельно?

80% сайтов вообще не используют Роботс:) 

Наконец то.

По-моему, это изменение нарушает логику обработки директив. Т.е, пустой Disallow: у вас работает, а пустой Allow: нет.
Может, кто-то намеренно так запретил сайт для индексации, а теперь, будет удивляться, почему у него страницы в индекс полезли... Не все ведь ваш блог читают.

Вот это новость у меня же 15 тестовых поддоменов, с директивой Allow, от 3 нету фтп доступа, как быть?
К примеру у сайта по строительство домов из оцилиндрованного бревна http://www.ecodom98.ru есть тестовый поддомен, нету доступов, как поменять Allow на Dissalow? 

А подскажите, если запретить в robots.txt индексацию страниц с изображениями, сами изображения с неё будут индексироваться .→ stroygefest.com

Кстати, у меня на моём блоге о боксе, есть файл robots.txt, по соответствующему адресу, но яндекс.вебмастер пишет, что на запрос https://puncher-blog.blogspot.com/robots.txt мой сайт отвечает редиректом, хотя можете посмотреть никакого редиректа там на моём блоге нет.

Здравствуйте.
Мне нужно заблокировать индексирование страницы http://www.blood47.ru/wp-content/uploads/2016/04/sotrudniki_cklo.pdf, чтобы она не выдавалась в поиске, а попасть на неё можно было только непосредственно со страницы, кликнув на ссылку.
Вопрос:
достаточно ли в robots.txt написать Disallow: /*/uploads/2016/*.pdf$
или лучше Disallow: /wp-content/uploads/2016/04/sotrudniki_cklo.pdf ?

У меня показывает в вебмастере что сайт закрыт для индексации в robots.txt, хотя на самом деле все открыто, другие поисковики не видят ошибок, вот собственно и сам сайт http://newkinogo.club/ - в чем может быть проблема?

Здравствуйте. Помогите разобраться с robots.txt
У меня в кабинете для веб мастера пишет ошибку, что   Найдено несколько правил вида User-agent: * показано что на 31 строке, где это находиться понятно, вопрос в том как это исправить: может удалить совсем, может что то подкорректировать?
Спасибо за ответ.

Ниже, полностью  скопирован мой robots.txt


1.# Added by SEO Ultimate's Link Mask Generator module
2.User-agent: *
3.Disallow: /go/
4.# End Link Mask Generator output
5.
6.User-agent: Yandex
7.Disallow: /cgi-bin
8.Disallow: /wp-admin
9.Disallow: /wp-includes
10.Allow: /wp-includes/js
11.Allow: /wp-content/plugins
12.Allow: /wp-content/themes
13.Allow: /wp-content/uploads
14.Disallow: /wp-content/cache
15.Disallow: /wp-trackback
16.Disallow: /wp-feed
17.Disallow: */trackback
18.Disallow: /*?replytocom
19.Disallow: /files/
20.Disallow: /date/
21.Disallow: /page/
22.Disallow: /catalog/
23.Disallow: /netcat_files/
24.Disallow: /services/
25.Disallow: *comment-page-*
26.Disallow: /go/
27.Disallow: /project/portfolio-8-2/
28.Allow: /
29.Host: https://proekt-stroy.com
30.
31.User-agent: *
32.Disallow: /cgi-bin
33.Disallow: /wp-admin
34.Disallow: /wp-includes
35.Allow: /wp-includes/js
36.Allow: /wp-content/plugins
37.Allow: /wp-content/themes
38.Allow: /wp-content/uploads
39.Disallow: /wp-content/cache
40.Disallow: /wp-trackback
41.Disallow: /wp-feed
42.Disallow: */trackback
43.Disallow: /*?replytocom
44.Disallow: /files/
45.Disallow: /date/
46.Disallow: /page/
47.Disallow: /catalog/
48.Disallow: /netcat_files/
49.Disallow: /services/
50.Disallow: *comment-page-*
51.Disallow: /project/portfolio-8-2/
52.Allow: /
53.Sitemap: https://proekt-stroy.com/sitemap.xml

Вопрос:Яндекс дает нагрузку на сайт (ло логам accesslog смотрел, долбит через пару секунд целый день) . Исправил robots.txt (добавил Crawl-delay:30), проверил в Вебмастере, ок. Нагрузка сохраняется.. сколько ждать реакции Яндекса обычно ?

На сайте 129 страниц, а робот загружает 463,например,
 https://autoelectric.org/index.php/images/images/images/uploads/images/images/images/uploads/images/goldline.gif

Папка index.php не существует.
Такую ссылку ни один шизофреник не напишет.
Куды бечь?

На этом сайте https://reputocracy.gr/ роботс самой менять нельзя, это тильда. Если кто в курсе, подскажите, пожалуйста, тот роботс, который сформирован там автоматически, с ним всё в порядке или он сформирован не корректно и могут быть проблемы с индексированием и ранжированием? Заранее большое спасибо всем ответившим

Здравствуйте. Закрыл сайт от индексации, методом тыка вот разбираюсь. После этого сайт вылетел из поиска вообще. Даже если вбить "покровбогородицы.рф". Заменяю роботс, но он не меняется в покровбогородицы.рф/robots.txt. Что делать? Это значит, что сайт больше не появится в поиске?

Возник такой вопрос. Недавно приобрел домен, запустил сайт... Как вскоре выяснилось этот домен раньше кому то принадлежал и о его репутации мне ничего не известно. А вдруг на нем какие то фильтры, или еще какой нибудь негатив со стороны яндекса. Что то странички сайта как то неохотно в поиск попадают. Вот и хотелось бы как то узнать нет ли каких то фильтров со стороны яндекса. Что мне делать кто подскажет? Спасибо.

Подскажите почему я перешёл на новый движок и мой сайт запрещён к индаксированию в роботокс? Пишите на электронку плиз.. Очень нужен ответ regionfox@yandex.ru

Здравствуйте.
Сегодня в вебмастере в разделе Страницы в поиске увидел, что поисковый робот начал индексировать страницы сайта, которые в robots.txt закрыты от индексации посредством Disallow.
Скажите с чем это связано???

Есть мой сайт, у которого все страницы в индексе. Нужно удалить их из индекса. больше двух недель назад прописал в роботсе:
User-agent: *
Disallow: /
И ЯВМ пишет "Сайт закрыт к индексации в файле robots.txt". Но проблема в том, что все страницы по-прежнему в индексе! Когда ждать выпадения?

не могу найти, как проделать переиндексацию всего ресурса, после смены cms....