И вы хотите сказать что все соблюдают правила и не лезут куда не поподя ? Вот этому я точно не поверю ни когда. Все как плевали на robots.txt. Так и будут плевать Опять роботов понаделали Про них чтото ни где ни сказано. К примеру dam.yandex.net. Что за зверь? И таких много которых я за сегодня видил
Ну про Гугл я и так много знаю. Лично мне на сервер что он только не впаривал. И до сих пор лезет в корень сервера. Я его раз с бана снял, два снял. Мне достало и всё. Пусть там висит. Рамблер тоже хитрый и не слабо. Я тут наблюдал как он за мной в админку зайти хотел. Вот это номер )))
Сорри, но в видео ужасный акцент (или это выговор такой), заметил это еще в предыдущих роликах от яндекса, ухо режет, замените спикера, серьезно, ничего личного. На какой голос заменить? Ну включите любое радио и ТВ, вот на такой.
Hi, all - это что? Можно же перевести "Всем привет". Робот уж как-то на используемую в Google картинку похож. Да и письмо пишется с начала на английском. Мультфильмы и то если русифицируются, то с фоновыми названиями на русском. Жаль...
Конечно видео хорошее, однако напомню инцидент с Мегафоном. Руководители сотового оператора утверждали, что у них не было проблем с robots.txt, а яндекс сам проиндексировал их.
Конечно теперь наверняка выяснить не удастся, так как странным образом история сайта мегафона удалилась. В любом случае, вот мой пример роботса http://forumvk.com/robots.txt
сначало сами залезли в закрытые разделы через встроеные тулбары в браузерах(не думаю что кто-то оставлял ссылку на свой аккаунт в секс шопе), а теперь спрыгивают на то что не был настроен роботс...