Файлы Sitemap

Пост в архиве.

2 июня 2008, 17:13

Обычно робот Яндекса узнаёт о страницах сайта, переходя по ссылкам. В большинстве случаев этого достаточно для полной индексации сайта. Однако, если ваш сайт содержит много динамически создаваемых страниц или же страницы, для попадания на которые требуется много переходов по ссылкам, робот Яндекса может не сразу найти некоторые страницы сайта или неверно определить их важность. Файлы Sitemap помогают решить эти проблемы.

Файл Sitemap -- это файл с дополнительной информацией о страницах сайта, подлежащих индексации. С его помощью вы можете сообщить Яндексу, какие страницы вашего сайта нужно индексировать, какие из них наиболее важны, а также как часто обновляется информация на страницах.

Яндекс поддерживает два формата файлов Sitemap:XML и текстовый.Описание форматов дано на сайте sitemaps.org/ru.

Вы можете сообщить Яндексу о наличии файла Sitemap для сайта двумя способами:

добавив URL файла Sitemap в раздел "Файлы Sitemap" сервиса Яндекс.Вебмастер;
добавив директиву Sitemap в файл robots.txt вашего сайта.

Робот ждёт ваших подсказок!

Михаил Сенин и разработчики сервиса Я.Вебмастер

54 комментария

Авторизуйтесь, чтобы оставить комментарий

Wook

19 января 2016, 11:47

Хха, готовьтесь к перегрузкам :))

Ильин Андрей

19 января 2016, 11:47

А без подсказок робот не найдет файл sitemap.xml в корне сайта?

m-senin

19 января 2016, 11:47

Дело в том, что файл не обязательно должен называться sitemap.xml и не обязательно должен лежать в корне. А подсказки роботу находятся внутри файла Sitemap --- это те URL, которые вебмастер считает важными. Никто лучше вебмастера этого не знает.

Дмитрий Колесников (эксперт в ИТ)

19 января 2016, 11:47

пропиши в robot.txt sitemap: http://.../sitemap.xml и будет находить сам! А сгенерировать сам sitemap можно на http://htmlweb.ru/analiz/sitemap.php

Maga-GTA

19 января 2016, 11:47

Качественный сервис! спс

finned2008

19 января 2016, 11:47

Круто!!!! Спасибо огромное за ссылку!!!

mmb

19 января 2016, 11:47

Не знаю ошибка это или нет. У меня в сайтмэп-индексах для домена прописаны ссылки на сайтмэпы субдоменов. Субдоменов очень много - это дневники юзеров. ЯВ ругается на то, что сайтмэпиндекс ссылается на сайтмэпы субдомендоменов. Можно это как-то исправить? Было бы очень удобно.

m-senin

19 января 2016, 11:47

См. "Файлы Sitemap и перекрестная отправка" тут http://www.sitemaps.org/ru/protocol.php#location

mmb

19 января 2016, 11:47

По ссылке про субдомены отдельно написано: "если файл Sitemap расположен по адресу http://www.primer.ru/sitemap.xml, в нем могут быть указаны URL-адреса из субдомена http://subdomen.primer.ru." Мой случай как раз про субдомены, а не про перекрестную отправку: в сайтмэпиндексе http://beon.ru/sitemapindex_0.xml есть запись про http://shadow.beon.ru/sitemap_blog_shadow_0.xml.gz и ЯВ ругается: "Некорректный URL (не соответствует местоположению файла Sitemap)" , хотя они находятся на одном домене 2 уровня.

m-senin

19 января 2016, 11:47

Поздравляю! Вы нашли ошибку в русском переводе стандарта файлов Sitemap. Вот что написано в исходной английской версии: For instance, if the Sitemap is located at http://www.example.com/sitemap.xml, it can't include URLs from http://subdomain.example.com Т.о. правильный перевод должен быть: Например, если файл Sitemap расположен по адресу http://www.primer.ru/sitemap.xml, в немНЕ могут быть указаны URL-адреса из субдомена http://subdomen.primer.ru. Рекомендую всё-таки изменить структуру файлов Sitemap и использовать перекрестную отправку.

mmb

19 января 2016, 11:47

А как Вы предлагаете просматривать статистику и ошибки по сайтмэпам, если у меня 200 тыс субдоменов? Я не могу каждый подтверждать. Удобно иметь один сайт в интерфейсе и через него смотреть статистику по всем его субдоменам. Не хотел Вам этого говорить, ног в Гугловских сайтмэпах нет подобной проблемы.

m-senin

19 января 2016, 11:47

В стандарте написано: ... Файл индекса Sitemap может указывать только файлы Sitemap, которые находятся на том же сайте, что и файл индекса Sitemap. Например, файл индекса http://www.vashsait.ru/sitemap_index.xml может включать файлы Sitemap, размещенные на сайте http://www.vashsait.ru, но не на сайте http://www.primer.ru или http://vashkhost.vashsait.ru. ... Если всё же реализовать "как у Гугла", то получится, что владелец домена сможет без всякого подтверждения по-своему трактовать важность страниц на поддоменах. Это может когда-то и удобно, но в целом неправильно. Почему бы не положить в http://beon.ru/sitemapindex_0.xml сылку на файл Sitemap http://beon.ru/sitemap_blog_shadow_0.xml.gz внутри которого URL вида http://shadow.beon.ru/doc.html (т.е. из поддомена) и в shadow.beon.ru/robots.txt поместить директиву Sitemap: http://beon.ru/sitemap_blog_shadow_0.xml.gz Тогда все URL с поддоменов дойдут до робота. При этом правда (в текущей реализации) в контексте домена beon.ru URL вида http://shadow.beon.ru/doc.html будут трактоваться как ошибки, но они будут корректны в контексте поддомена shadow.beon.ru Это действительно ошибка в диагностике. Мы её устраним. Но, несмотря на ошибочную диагностику, всё URL дойдут до робота. Спасибо за содержательное обсуждение!

mmb

19 января 2016, 11:47

Сейчас в shadow.beon.ru/robots.txt написано: Sitemap: http://shadow.beon.ru/sitemap_blog_shadow_0.xml.gz Что, наверное самое логичное :-) . А нововведения про перекрестную отправку не факт что кем-то поддерживаются. Так что боюсь с ними экспериментировать. Вон у МСН вообще можно только один сайтмэп иметь! | Если всё же реализовать "как у Гугла", то получится, что владелец домена сможет без всякого подтверждения по-своему трактовать важность страниц на поддоменах. Это может когда-то и удобно, но в целом неправильно. Ну делайте как считаете нужным. Моё дело предложить. Как я понимаю, у того же Гугла у сайтмэпов есть степень доверия. Если в сайтмэпе написано, что краулить страницу надо раз в час, а она месяцами не меняется, то использовать сайтмэп для получения полезной информации не стоит. И с приоритетами так же. Так что искуственно понижать кому-то приоритет ИМХО нафиг никому не сдалось, и доверия к такому понижению быть не может.

m-senin

19 января 2016, 11:47

Да, логичнее всего задавать файлы Sitemap отдельно для каждого поддомена. Строго говоря sitemap или sitemapindex не являются корректными, если в них есть URL для разных хостов. И нет никакой гарантии, что из некорректного файла sitemap вообще что-то дойдёт до робота. Так что лучше не смешивать в одном sitemapindex разные домены (и поддомены). Степень доверия --- это уже детали реализации. Не думаю, что стоит на них полагаться

ivanstarodumov

19 января 2016, 11:47

А что в таком случае нужно написать в shadow.beon.ru/robots.txt, если поддомен http://shadow.beon.ru/ содержит более 50000 URL?

mmb

19 января 2016, 11:47

ссылку на сайтмэ-индекс. в нём ссылки на сайтмэпы с этими урлами.

Главрыба

19 января 2016, 11:47

Не могу сделать мапу своему сайту http://www.luizacoll.ru/

Главрыба

19 января 2016, 11:47

Не могу сделать мапу своему сайту http://www.luizacoll.ru/

testpeople

19 января 2016, 11:47

Предоставляю услугу по созданию карты для сайта или Sitemap для ваших сайтов. Связаться со множно по
ICQ 2721081
E-mail: testpeople@ya.ru

coolanatoliy

19 января 2016, 11:47

Ну давно бы так! У гугла например такая фенька уже давно.

tot-ra

19 января 2016, 11:47

Долго же вы

AGura

19 января 2016, 11:47

Вебпланета уже язвит по этому поводу :) http://webplanet.ru/news/service/2008/06/03/sitemap.html

Алексей

19 января 2016, 11:47

Слава компании Google за ее интеллектуальные изобретения, спасибо Яндексу, что не отстает от времени и реализовали то, что гугловцы предложили в 2005. Это действительно хороший шаг. А есть ли собственные идеи или все время так и будете следовать за Гуглом?

alex-jmjmjm

19 января 2016, 11:47

Собственные идеи есть. К примеру невалидный тег .

;-)

Андрей С.

19 января 2016, 11:47

Лучше напишите как будет выглядеть запись в robots.txt с описанием Sitemap. User-agent: Yandex Disallow: /dir/ Disallow: /file.html Host: яндекс.ру Sitemap: http://яндекс.ру/sitemap.xml так? или так можно? :) User-agent: Yandex Disallow: /dir/ Disallow: /file.html Host: яндекс.ру Sitemap: http://яндекс.ру/sitemap.xml :)

Константин Переяслов

19 января 2016, 11:47

а не Sitemap: sitemap.xml ?

Андрей С.

19 января 2016, 11:47

Нет, нужно указывать полный урл.

muzk

19 января 2016, 11:47

Теперь бы еще пояснения для блондинок дали где это искать. У меня пока не получилось!

Дмитрий Колесников (эксперт в ИТ)

19 января 2016, 11:47

На http://htmlweb.ru/analiz/sitemap.php впиши свой URL и читай внимательно внизу страницы "описание для блондинок"! ;-)

muzk

19 января 2016, 11:47

поздно. я уже сама все поняла :)

fastehbb

19 января 2016, 11:47

итак все нормально индексит

kayleben

19 января 2016, 11:47

Это который гугловский?

ua-remix

19 января 2016, 11:47

отличная новость!

Димитрий Гришаев

19 января 2016, 11:47

Добавил... Ну в гугле - это давно сделал. Честно сказать большого смысла не вижу. Тут война в десятку в поиске попасть, а не карту добавлять.

ShaDeRzz

19 января 2016, 11:47

А у меня вот такая проблема: Имеется сайт, в корне которого лежит sitemap по адресу http://site.ru/sitemap.xml В этом sitemap прописаны урлы в виде http://site.ru/?l=news&id=... В чём ошибка? Обработчик выдаёт "Некорректный URL (не соответствует местоположению файла Sitemap)", доходит до 203 записи и прекращает работу. (Всего записей в файле sitemap - 900). Гугл этот же файл корректно индексирует.

m-senin

19 января 2016, 11:47

Если всё так, как написано, то надо обратиться в службу поддержки (нажав на ссылку "Задать вопрос о сайте в службу поддержки" на странице со списком файлов Sitemap) Ошибок (и замечаний) может быть меньше чем записей в файле Sitemap, т.к. после 100 ошибок обработка файла прекращается. После 100 замечаний прекращается их дальнейший показ.

Дмитрий Колесников (эксперт в ИТ)

19 января 2016, 11:47

наконец-то! Рекомендую классный генератор sitemap: http://htmlweb.ru/analiz/sitemap.php

shodyan

19 января 2016, 11:47

Наконец-то!

mamapapa4

19 января 2016, 11:47

Здравствуйте! писала в службу поддержки ответа пока нет а вопрос очень срочный! У меня проблема, мне пришло письмо на мой эл ящик shurshalka0@ya.ru из службы поддержки Яндекса, в котором была информация о том что на меня поступила какая то жалоба, я не придала должного значения этому письму и мой ящик заблокировали, ответ на контрольный вопрос я не помню. Все бы ничего, да только я со своего аккаунта веду рекламные кампании на Яндекс.Директ. И на моем эл кошельке лежат деньги, соответственно доступ и туда мне закрыт. Помогите мне пожалуйста решить эту проблему. жду ответа на этот ящик mamapapa4@ya.ru

seo2up

19 января 2016, 11:47

Странно, подключил sitemap.xml в вебмастере, а мне он занёсса в ошибки, типа "Формат документа не поддерживается?". Это как понять ??? Кому верить ???

diana-domino

19 января 2016, 11:47

оки.. помогу чем смогу))

internaut

19 января 2016, 11:47

Когда же появится передача sitemap файла Яндексу через HTTP запрос? аналогично как у http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=34609

sevmore38

19 января 2016, 11:47

Наконец нашла где об этом можно почитать

ch-art

19 января 2016, 11:47

Могу ли я формировать файл с директивами sitemap (формата xml) c помощью php, т.е. предоставить поисковику не файл sitemap.xml, a файл sitemap.php, поисковик поймет?

antropow.aleksei

19 января 2016, 11:47

А как будет выглядеть запись в robots.txt

Host: ? как правильно

если имя сайта магазин-идей.рф

дело в том, что в яндексе написано - кирилица не допустима!

похоже, что так host: xn----7sbalhglibmxr.xn--p1ai

Donwatch

17 мая 2017, 17:51

Вопрос ,как быть со следующей ошибкой в sitemap?

Неизвестный тег Строка 1: image:image

Как быть с изображениями в Яндексе ? Будет ли эта ошибка влиять на позиции и ранжирование сайта ???

kutasok.netpeak

26 сентября 2017, 16:52

В протоколе sitemaps.org недавно увеличили ограничение размер файла. Теперь он может быть до 50 Mb https://www.sitemaps.org/protocol.html.

В помощи для вебместеров Яндекса https://yandex.ru/support/webmaster/controlling-robot/sitemap.html еще установлено ограничение 10 Mb http://img.netpeak.ua/kutasok/c6BOw-2017-09-26.png .

Вопрос: ограничение в 10 Mb еще актуально или не успели изменить текст рекомендаций?

chernikoff80

22 июня 2018, 15:24

а можно рассказать роботу о файлах sitemap сразу двумя способами?

nik38_ru

19 июля 2019, 11:46

Здравствуйте. У меня вопрос к Яндекс!
Если создаётся файл sitemap модулем WP Google XML Sitemaps, то корректно ли он работает с Яндекс? Ранее помнится были какие-то проблемы, тк указывались страницы по подсылкам.
Если проверять по вашей https://webmaster.yandex.ru/tools/sitemap/?tab=url то ответ приходит, все корректно найдено 80 ссылок. А по факту это не 80 ссылок, в каждой ссылке это как раздел, в котором ещё десяток файлов. Как в этой ситуации будет обрабатывать Яндекс? У гугла с этим вопросов нет. Хочется иметь автоматически создавать раздел, а не создавать его под каждый поисковик отдельно...

Обновлено 19 июля 2019, 11:47

platon

Сотрудник Яндекса19 июля 2019, 12:58

nik38_ru,

в целом, если файл sitemap доступен в XML-формате и соответствует стандарту (https://www.sitemaps.org/ru/protocol.html ), проблем с его обработкой возникнуть не должно. Обратите также внимание, что если в файле указаны ссылки на картинки, они будут обрабатываться, но в анализаторе файлов sitemap будут отображаться данные только о ссылках на HTML-страницы, то есть ссылки из тега <loc></loc>.
Если же вы видите, что какие-то ссылки из файла не обрабатываются нашими роботами, напишите об этом нам через форму обратной связи для более подробного изучения: https://yandex.ru/support/webmaster-troubleshooting/site-indexing/sitemap-not-processed.html

Владимир Меньшиков

15 августа 2021, 20:59

ага, sitemap есть, в robot.txt все указал, а яндекс пишет что ничего нет. как быть

platon

Сотрудник Яндекса16 августа 2021, 13:16

Владимир Меньшиков,

как правило, такое случается, если сайт стал известен поисковому роботу только недавно, и данные об обработке sitemap в Яндекс.Вебмастере не успели обновиться. В этом случае, ориентировочно, в течение двух недель информация о sitemap должна будет добавиться. Если этого не происходит более двух недель, напишите, пожалуйста, в службу поддержки с адресом сайта и sitemap. Наши коллеги проверят ситуацию с обработкой файла.

Евгений Янковский

13 ноября 2022, 19:15

Здраствуйте я не магу подтвердить права веб мастере на свой сайт .Пмогите

platon

Сотрудник Яндекса13 ноября 2022, 22:11

Евгений Янковский,

сейчас подтвердить права для сайта в Вебмастере можно одним из способов, о которых мы рассказали в нашей Справке.
Если возникают сложности, уточните, каким именно способом вы пробовали подтвердить права? Опишите свои действия по порядку и как можно подробнее. Я постараюсь разобраться в ситуации и помочь.
Напишите ваше обращение из формы обратной связи сервиса Яндекс Вебмастер. Для этого выберите тему обращения «Добавление сайта и подтверждение прав» и найдите либо ответ на вопрос, либо составьте обращение в службу поддержки.