Неканонические страницы в Поиске

например, в Drupal, канониклы контролируются на уровне ядра и если надо переопределяются.
Учитываются системные пути контента, ЧПУ и ещё много всего, включая историю изменений урлов.

Хотите статью почему мы считаем Drupal самым удобным для SEO движком?

Обновлено 10 июля 2019, 10:54

Александр

10 июля 2019, 13:42

да почти во всех нормальных есть "из коробки", да и в чем сложность самим настроить?

Spawn

11 июля 2019, 12:42

вроде как считается, что страницы пагинации, результаты поиска по сайту, и результаты фильтрации каноническими делать не стоит.
Но в общем я пример скорее для примера приводил.

skm-stroy

14 августа 2019, 18:08

Степан Викторов,

Да, нужна эта статья.

Сумраков Петр

15 августа 2019, 06:10

Степан Викторов,

пригодилась бы такая статья.

Алексей Спиридонов

25 сентября 2019, 17:13

У МЕНЯ ПРОБЛЕМА С УМНЫМ ФИЛЬТРОМ, МОГЛИ БЫ МНЕ ПОМОЧЬ НАСТРОИТЬ КОРРЕКТНО?
НАПИШИТЕ МНЕ СЮДА НА ПОЧТУ YVERENNUJ@MAIL,RU
БУДУ БЛАГОДАРЕН !

kiranoweb.ru

3 декабря 2019, 16:22

Степан Викторов,

Почему?

BERKsTUD

26 января 2020, 14:39

Мазаев Константин,

вот читаю все эти комменты и диву даюсь - как сложно реализовано всё то, что проще паренной репы (простейшие и элементарные вещи, не требующие даже функций в своей работе, а всего-лишь - несколько операторов). Тут по сути вся проблема в архитектуре CMS, вот от туда и идёт весь геморрой и тонны вопросов.

devetyarov.d.n

26 января 2020, 14:47

BERKsTUD,

Можно подробнее, что Вы имеете ввиду?

Админ

4 июля 2019, 21:39

Вот от этого умного поиска я и страдаю..на моем сайте есть две разные по смыслу статьи 1 описывает конкретно разное жилье на курортах а 2 коттеджи, но Яндекс считает фразу жилье и дом одинаковой и как тут быть? если обе эти статьи должны выдаваться в поиске под разным значением

Светлана К.

5 июля 2019, 10:28

Админ,

уже сколько лет страдаю на эту тему, но не как сайтовладелец, а при поиске информации для себя лично или для наполнения чужих сайтов.
В том году делала большо-о-о-ой каталог оборудования - а там у всего подряд по несколько модификаций. И как же задолбал поиск своим "умом"! Мало того, что все модификации валив кучу (а что, похоже же), так еще когда часть заполнена и надо двигаться дальше, упорно на новые (тоже похожие, по его мнению) запросы вываливает отсмотренное на той неделе.
Реально хотелось биться головой о клавиатуру - причем и инвизибл-режим использовался, и история не копилась, и "понимайте меня буквально, я не зря ставлю кавычки", и вообще... Впоминаю с ужасом и регулярно сталкиваюсь с подобным, пусть и не в таких масштабах.

Обновлено 5 июля 2019, 10:29

Oleg

5 июля 2019, 11:03

Светлана К.,

Согласен. Тут как с поиском, так и с сайтами. Когда ищешь, например (в примере несуществующий продукт), "синий телефон на ведроид", то находит красный телефон. Синий где-то на несколько позиций ниже на другом сайте или вообще его нет. При этом открыв "красный телефон на ведроид" можно перейти на страницу с "синим телефоном".

Елена Першина

Сотрудник Яндекса8 июля 2019, 10:21

Админ,

а можно пример?

Антон Дьяков

4 сентября 2019, 17:17

извините что залез в ваш разговор, но хочу привести пример(по поводу качества поиска). Недавно на сайте ввел теги для НЧ запросов, например "маленькие гейзерные кофеварки" и "большие гейзерные кофеварки", если забить в поиске данные запросы, вы никогда не найдете ни больших гейзеров ни маленьких, ЯП будет вам выдавать все что угодно, рейтинги, каталоги, видео, фото, но только не специально созданные страницы 100% релевантные запросу. То есть страницы которые я создал, причем в первой же десятке наш сайт с "рейтингом гейзерных кофеварок", но ни мне ни тому кто ищет не нужен рейтинг. почему так происходит, не понятно. Вот эти страницы, попробуйте найти их в поиске. Я понимаю что там нет описания, но там есть то что ищет пользователь и кстати конкуренции по ним так же нет.
Маленькие и большие

BERKsTUD

26 января 2020, 14:51

Антон Дьяков,

значит нужно писать описания и обернуть их в тег <p></p> - не забывайте + метатег "description" должен содержать часть описания или перефразировку, но со всеми ключевыми словами, разумеется + ключевые слова в самом метатеге "keywords" желательны быть. Это всё по сути должно помочь. если не помогает значит - КОСЯК поисковых алгоритмов.

Обновлено 26 января 2020, 14:52

james33sun

15 апреля 2020, 14:22

BERKsTUD,

с такой же фигней столкнулся на мебельном магазине.
Сделали теги - например, кухни угловые, кухни прямые...
Прописали там собственные метатеги - результата практически нет, страницы по нужным запросам не показываются в поиске, вместо них обычный каталог "кухни". :(

an.mamina2015

4 июля 2019, 23:00

Интересный момент. Раньше амп страницы вылетали из поиска как неканонические. Теперь они стабильно помечаются как недостаточно качественные. Интересно бы узнать, чем именно амп страница некачественнее, чем, например, турбо?

Денис Ушаков

5 июля 2019, 10:35

Так AMP = Гугл, а Турбо = Яндекс. При чем тут взаимосвязь AMP и Яндекс...

an.mamina2015

5 июля 2019, 18:06

Денис Ушаков,

при том, что страницы одинаковые по контенту, но тем не менее амп по неизвестным причинам засчитываются как некачественные. Ладно, раньше были неканонические, это понятно, в принципе, нормально, что яндекс выкидывает амп из своего поиска, но зачем с такой формулировкой выпинывать начал?

Виктор Каргин

5 июля 2019, 10:35

на данный момент, видно, что под статусом "недостаточно качественная" может скрываться что угодно, вплоть до 302 редиректа. Так что не стоит искать смысла там, где его нет

wwwwmaster

5 июля 2019, 11:35

только сегодня столкнулся с некачественной страницей, потому что на нее ведет 302 редирект О_о Хоть бы помечали в чем она некачественная, приходится в саппорт писать, ответа ждать, хотя исправить все дело 2 минут.

Виктор Каргин

5 июля 2019, 14:07

wwwwmaster,

302 редирект, кстати. видно в выгрузке у таких страниц. Лайфхак таксказать

an.mamina2015

5 июля 2019, 18:07

логично) Проще плюнуть на это, чем мозг себе воспалять)

Andrei Maksimov

5 июля 2019, 10:39

интересно, зачем амп вообще отдавать роботу Яндекса))

an.mamina2015

5 июля 2019, 18:09

даже не знаю, умела бы от него ампы закрывать - закрыла бы, чтобы вообще там не ковырялся.

Andrei Maksimov

5 июля 2019, 18:19

так для ампов отдельные страницы же? Можете посмотреть, как у нас сделано: mtg-biz.ru/robots.txt .
А без работы с robots.txt SEO заниматься опасно.. Да и вообще опасно - может утечь то, что не должно.

an.mamina2015

5 июля 2019, 18:35

благодарю от души!!!! Пошла себе реализовывать недостающие запреты.

Елена Першина

Сотрудник Яндекса8 июля 2019, 10:23

больше всего похоже на то, что воспринимаются как дубль. Но лучше через поддержку уточнить.

Николай

4 июля 2019, 23:00

В разделе «Страницы в поиске» страницы указываются как канонические (это верно, везде rel=canonical), но в разделе «Сводка», в виджете «Обновления в поиске до 1 июля» у этих же страниц написано «Канонический адрес не указан». Доработайте пожалуйста виджет, чтобы в обоих случаях отображалось одинаковая (и достоверная) информация.

Артур Османов

5 июля 2019, 10:30

Николай,

очень правильно подмечено!!!

Andrei Maksimov

5 июля 2019, 10:43

Николай,

тоже самое. Например: https://mtg-biz.ru/about_company/news/?PAGEN_1=93 . Но, скорей всего, проблема только в отображении в "Сводке", т.к. "Страницы в поиске" всё ОК.

Елена Першина

Сотрудник Яндекса8 июля 2019, 10:45

Николай,

спасибо, смотрим.

alexander.falaleev

13 января 2020, 16:27

Что-то с пониманием canonical мне кажется вы совсем перемудрили.

Да я читал сообщение для вэбмастеров о том что изменяется подход но то что сейчас произошло это вообще за гранью:

За праздники в индекс попали многие сотни (все имеющие на сайте статьи и новости) amp версий страниц !

Причем сам canonical виден но в примечании:

https://www.babai.ru/articles/kto-takoj-minipig.html?amp=yes

"Страница попала в поиск, поскольку во время её сканирования роботом её содержимое существенно отличалось от содержимого страницы по адресу https://www.babai.ru/articles/kto-takoj-minipig.html, который был указан в атрибуте rel="canonical" в исходном коде. Исправьте или удалите атрибут canonical, если он указан некорректно. Робот отследит изменения автоматически."

Это кошмар теперь у каждой моей статьи и новости получается в поиске Яндекса дубль есть :(

До изменения отношения Яндекс к canonical разумеется все amp страницы в индекс не попадали !!!

Мне кажется что это таки очень существенная ошибка с вашей стороны !

С уважением, Александр.

platon

Сотрудник Яндекса14 января 2020, 08:45

alexander.falaleev,

вижу, что вы уже написали обращение в службу поддержки по данному вопросу. Предлагаю продолжить обсуждение конкретных страниц именно в данной переписке. Мои коллеги свяжутся с вами в ближайшее время.
В целом же AMP-ссылки могут восприниматься как отдельные страницы и индексироваться роботом. Если в поиске они не нужно, можно ограничить их при помощи директивы Clean-param, если AMP в адресе указан с помощью Get-параметра, либо при помощи директивы Disallow в robots.txt.

kleveragro

4 июля 2019, 23:23

На всех страниц настроен каноникал,в вебмастере вылетело сообщение «Канонический адрес не указан»...как это понимать?

Артур Османов

5 июля 2019, 10:31

kleveragro,

Посмотрите в ВМ раздел - Страницы в поиске. Там правильно всё указано!

m.kislov@clever-as.ru

4 июля 2019, 23:23

То есть, теперь нельзя гарантированно контролировать выдачу необходимых страниц? Яндекс и сейчас зачастую считает дублями разные по содержанию страницы, так с какой бы радости он стал корректно определять не дубли при уж точно схожем, или одинаковом контенте?

Короче, ребята, избавляемся от дублей, явных и не очень.

Елена Першина

Сотрудник Яндекса8 июля 2019, 13:17

m.kislov@clever-as.ru,

дубли и так не будут попадать. Вопрос о том, что дублями не является.

finutmag

5 июля 2019, 01:22

Раньше, когда Яндекс обходил по популярности Апорт и Рамблер, был лидером рунета, попадали В поиск .

Сейчас с 4мя обьявлениями директа неотличимых от органики и 5ю сервисами Яндекса, попадают НА поиск?

Почему вы пишите: как правило НА поиск не попадают
позже, На поиск не попадают
канонические страницы по-прежнему попадают НА поиск гораздо чаще

Но и так: их наличие В поиске может
И так: прирост количества страниц В Поиске (кстати, почему-то с большой буквы тут слово Поиск)
страниц, попавших В поиск.
на странице «Страницы В поиске»

Олег

4 июля 2019, 23:25

finutmag,

ты что написать то хотел?

finutmag

5 июля 2019, 10:27

Олег,

Да хотел спросить про предлоги. Почему пишут в посте: попадают На поиск, а не В поиск?

Елена Першина

Сотрудник Яндекса8 июля 2019, 14:19

finutmag,

вообще и так, и так используем предлоги. Но поправили на "в" )

vwts

5 июля 2019, 02:11

Наконец то вы это поняли!
И 10 лет не прошло... :)

Стас Ф.

5 июля 2019, 08:18

У меня canonical везде прописан, но в вебмастере показываются страницы на которых якобы нет canonical, хотя он там есть. Что за бред?

kleveragro

5 июля 2019, 08:34

Стас Ф.,

у меня такая же ерунда вылетела.....может баг у яндекса

Олег

4 июля 2019, 23:27

kleveragro,

а у меня всё норм: https://yadi.sk/i/pSyCtJKzPRvqhw
Может у вас на сайте с тегами баг?

Артур Османов

5 июля 2019, 10:33

kleveragro,

Посмотрите через раздел - Страницы в поиске. Там правильно указано всё

Артур Османов

5 июля 2019, 10:33

Стас Ф.,

Посмотрите через раздел - Страницы в поиске. Там правильно указано всё

Елена Першина

Сотрудник Яндекса8 июля 2019, 13:20

Стас Ф.,

в поддержку нам напишите?

Борисыч

5 июля 2019, 09:37

Прописаны канонические ссылки. У этих канонических ссылок статус стоит статус "неканоническая"....

Артур Османов

5 июля 2019, 10:33

Борисыч,

Посмотрите через раздел - Страницы в поиске. Там правильно указано всё

biplane-studio

5 июля 2019, 09:38

уже 2 месяца как, а они только отписались...

Andrei Maksimov

5 июля 2019, 10:48

biplane-studio,

смотрю почти каждый день. Сегодня только появилось.

Виктор Каргин

5 июля 2019, 10:39

А подскажите, чето теперь делать с листингами товаров в интернет-магазинах? Они, как форум, будут показываться в индексе?
Ваша предыдущая рекомендация - указывать канонической первую страницу для листингов теперь недействительна или как?
С фоурмами и статьями, поделенными на страницы и так было всё понятно ранее. Хорошо, что внесли ясность. Но основная часть сайтов, над которыми работают специалисты - коммерческие, а коммерческие минимум на половину - это интернет-магазины. И вот их вы как-то ловко обошли стороной в примерах

Геннадий Ичкерин

5 июля 2019, 10:52

Красавчик, плюсую, единственный важный вопрос по новому функционалу

kirillskripko

5 июля 2019, 13:15

присоединюсь к комментарию - дайте комментарий (сорян за тавтологию но тем не менее)

Обновлено 5 июля 2019, 13:15

telecom-sales

5 июля 2019, 23:35

ИМ замерли в ожидании...

Елена Першина

Сотрудник Яндекса8 июля 2019, 14:57

Рекомендации не изменились. Для листингов имеет смысл указывать канонической первую страницу. Неканонические страницы при этом могут попадать в поиск, но это не означает, что все неканонические страницы попадут на поиск. Если вебмастер не хочет, чтобы неканонические страницы листингов попадали в поиск, можно использовать для этого, например, директиву Clean-param https://yandex.ru/support/webmaster/robot-workings/clean-param.html.

windows.bel

9 июля 2019, 22:44

Отличная новость. Для меня было бы полезно такое нововведение. Объясню:
Чаще всего у интернет-магазинов при наполнении страниц товаром используются шаблонные анкоры для карточек товара.
У меня категория "холодильные шкафы" вмещает в себя:

-холодильные шкафы
-морозильные шкафы
-комбинированные шкафы
-медицинские холодильные шкафы
-холодильные шкафы для икры
-холодильные шкафы для вина и так далее ....
При поиске товаров пользователь на сайте пользуется фильтром товаров.

Если забить в поиск яндекса "купить холодильный шкаф для вина" то в выдаче показывается не категория товара, а любой холодильный шкаф для вина на усмотрения Яндекса. Так как у меня эти шкафы начинаются с 5 страницы, возможно по данному запросу пользователю будет полезно попасть именно на 5-ю страницу этой категории.

Елена, я всё правильно понял? Или это мои мечты?

Елена Першина

Сотрудник Яндекса10 июля 2019, 10:37

windows.bel,

нововведение как раз про то, чтобы лучше находилось подобное, да.

Екатерина Д.

25 июля 2019, 10:27

А как будут индексироваться карточки товаров со страниц пагинации, если закрыть их через Clean-Param? Про канонические страницы вы писали в https://yandex.ru/blog/platon/2878, что они сканируются Яндексом (т.е. бот идет по внутренним ссылкам), но не включаются в индекс. Теперь, если мы закроем пагинацию через Clean-Param, то робот, используя эту директиву, загрузит только 1-ую страницу? Получается он не станет обходить товары со 2-ой и далее страниц?

devetyarov.d.n

25 июля 2019, 10:39

Екатерина Д.,

Очень верное замечание, если мы закроем страницы пагинации, то они они будут позиционироваться как битые ссылки! И все товары, которые находятся на таких страницах будут как минимум просядать в поиске, да и сайту в целом будет очень дурно... Проверено на своей шкуре...

platon

Сотрудник Яндекса25 июля 2019, 11:53

Екатерина Д.,

отвечу за Елену. Директива Clean-param не запрещает индексирование страниц, она только указывает, что такие ссылки должны индексироваться по адресам без Get-параметров, при этом робот может посещать их, проверяя на доступность. В такой ситуации стоит убедиться, что ссылки на карточки товаров указаны в файле sitemap сайта, так как роботу может потребоваться какое-то время, чтобы обнаружить ссылки на эти страницы из других источников. Тогда сами карточки товаров смогут индексироваться в обычном режиме.

Ирина

4 августа 2019, 18:54

windows.bel,

так Вы же можете оптимизировать эту страницу пагинации, как Вам хочется или выделить отдельную подкатегорию, или страничку умного фильтра. Зачем ждать милости от природы, точнее от Яндекса?) Можно же ему помочь.

windows.bel

4 августа 2019, 19:46

Ирина,

Всё правильно, только тогда нужно пилить фильтр, чтобы при выборе фильтра менялся title, Description и url иначе появятся много дублей.

Амиль

5 июля 2019, 13:57

А автоматический определять canonical, пока не умеете? У меня вообще все страницы не каноничные показывает.

Елена Першина

Сотрудник Яндекса8 июля 2019, 13:31

Амиль,

умеем, но если вдруг с этим есть проблемы, то через поддержку постараемся помочь.

Максим Медведев

5 июля 2019, 14:30

Отличное обновление.
Сайт на битриксе, в коде указан тег для канонического урла уже неизвестно сколько лет. Сегодня захожу в вебмастер в сводку и вижу новые страницы, которые были добавлены на днях и... тадам: "Канонический адрес не указан". Открываю страницы, проверяю, все есть.
Молодцы!

Журавлев

5 июля 2019, 14:52

В исходном коде указан тег Canonical, в Вебмастере пишет: "Канонический адрес не указан". ???

Елена Першина

Сотрудник Яндекса8 июля 2019, 10:20

Журавлев,

будем рады подсказать, но через форму обратной связи Вебмастера. Нужно больше информации о том, почему не видим канонический адрес. Напишите нам?

support@hackoff.ru

5 июля 2019, 18:04

Несомненно заметил данные пометки в ВебМастере НО!...
Уважаемые товарищи тестируйте прежде чем выкладывать в продакшен свои поделки!
Вот реально увидев ваши пометки, что "Каноническая страница не указана" в то время когда она указана и с первых минут запуска сайта всё время была там... начинаешь ковыряться... ЧтоЖешь я сделал не так ... а всё так ... просто у Вас алерт ложно сработал.... а я потратил время на проверки в пустую и такое не в первый раз и не только с данным новшеством!
Честное слов... я негодую!

Елена Першина

Сотрудник Яндекса8 июля 2019, 13:33

support@hackoff.ru,

проверим этот момент, спасибо!

Геннадий Федоров

8 июля 2019, 20:20

support@hackoff.ru,

один в один, стоит алерт на смену канонических... приходит уведомление, что сменился на пустой... я на сайт, а там все ок... пишу в поддержку, отвечают, что "...с Вашим сайтом все хорошо, не обращайте внимания..."
Ну как же так?

russ-diablo

5 июля 2019, 18:20

Моё мнение проще. Не должно быть никаких ни rel ни canonical ни прочей ереси. Есть понятие релевантность. Если запрос более релевантен "здесь", то ненужно его насильно заставлять направлять "туда". Понятие дубль может появляться только при полном совпадении контента и заголовков страниц, а также полное совпадение скрытого веса страницы. В обычном случае это физически не возможно, т.к. вес у страниц всегда разный, разное внутреннее, а может и внешнее продвижение, вложение, количество внутренних ссылок и т.п.., задача яндекса выбрать лишь более подходящее из двух в этом случае. Другой вопрос, что у яндекса мощностей не хватает держать такой огромный горячий индекс постоянно в памяти. Вот и отсеивают якобы ненужное.

Амиль

5 июля 2019, 19:57

russ-diablo,

Как вы себе представляете это, с технической стороны?

russ-diablo

6 июля 2019, 02:01

Амиль,

Это уже реализовано в яндексе и прекрасно работает. Суть в том, чтобы не выбирать, а индексировать всё подряд. Про огромный индекс - не знаю, может оно нормально будет работать. Я лишь предположил, что он может не умещаться в памяти и т.п. и возможно както заметно повлияет на скорость. Сейчас индекс тоже не маленький. Видимо его разбивают на небольшие кластеры и т.п.. понятия не имею как оно там выглядит в биг дате.

Михаил Б.

5 июля 2019, 18:57

Этот пост противоречит этому посту https://yandex.ru/blog/platon/2878 ,
в котором написано, что нужно прописать canonical, а остальное закрыть в robots.txt
Как же Яндекс тогда будет выдавать Неканонические страницы в Поиске, если они явно запрещены для индексации.

platon

Сотрудник Яндекса16 июля 2019, 09:24

Михаил Б.,

информация об использовании атрибута rel="canonical" для страниц пагинации из поста https://yandex.ru/blog/platon/2878 в данный момент уже не актуальна. Мы постараемся поправить это на странице https://yandex.ru/blog/platon/2878 , спасибо, что обратили внимание.
Что же касается страниц сортировки товаров по цене, популярности и т.д., индексирование таких ссылок все еще можно ограничить при помощи директив в robots.txt: clean-param для ссылок с get-параметрами и disallow для полного запрета посещения ссылок.

Ирина

6 августа 2019, 04:24

что же тогда правильно делать со страницами пагинации для интернет-магазинов, если информация в посте https://yandex.ru/blog/platon/2878 неактуальна? Может, дадите актуальные рекомендации на этот счет?

platon

Сотрудник Яндекса6 августа 2019, 12:50

Ирина,

вы все еще вполне можете использовать атрибут rel="canonical" на страницах пагинации с указаниями на первую страницу каталога. При этом, если контент страниц будет различаться, такие страницы смогут попасть в поиск. Если же вы абсолютно уверены, что такие страницы не будут интересны пользователям и не должны участвовать в поиске, их индексирование можно ограничить другими способами: в robots.txt сайта или при помощи мета-тега noindex. Но необходимо учитывать, что в таком случае контент страниц пагинации не сможет попасть в базу поиска.

Ирина

7 августа 2019, 18:45

Спасибо за комментарий. Наличие текста на 1 странице и его отстутствие на страницах пагинации будет считаться различием в данном случае? Будут ли при этом индексироваться ссылки на карточки товара, размещенные на страницах пагинации, которые являются неканоническими, либо закрыты от индексации? При том, что в карте сайта ссылки есть на все карточки товара?

platon

Сотрудник Яндекса9 августа 2019, 09:00

Ирина,

да, дополнительный текст на одной из страниц будет рассматриваться как различие в контенте, поэтому такие ссылки могут попасть в выдачу.
Если на карточки товаров ведут внешние ссылки из других источников, например, из файлов sitemap, то они смогут индексироваться и участвовать в поиске, даже если индексирование страниц пагинации будет ограничено.

fanofthefate

19 февраля 2021, 22:02

Как это будет влиять на распределение статического веса на сайте если закрыть страницы пагинации?

krovliclub

5 июля 2019, 19:56

Не пойму что Яндекс хочет. Рекомендуется ставить этот каноникал или только если дубли? У меня нет дублей, но и каноникал я не ставил.
Стоит добавить каноникал? Мне не сложно если нужно, секунд 10 потрачу.

И как быть с тегом base href?
<base href="https://webmaster.yandex.ru/blog/nekanonicheskie-stranitsy-v-poiske"/>

У меня он проставлен. Он вообще нужен?

Елена Першина

Сотрудник Яндекса8 июля 2019, 13:36

krovliclub,

тут лучше на сайт индивидуально посмотреть - напишите в поддержку?

masova.spb

5 июля 2019, 21:45

В Яндексе похоже забыли про свой пост про "тексты оптимизировались..." Читаешь эту новость и видишь только одно "Тексты канонировались канонировались да не выканонировались"

Елена Першина

Сотрудник Яндекса8 июля 2019, 13:36

masova.spb,

не забыли. Мы и тут, и там - про качественные тексты.

g.abraamian2018

5 июля 2019, 22:54

Только что заметил еще одну новинку в поиске . Появился новый оранжевый значок молнии в выдаче с пометкой быстрый сайт его можно увидеть рядом со страницами сервисов яндекса например метрики

Heavy Rain

8 июля 2019, 08:55

лучшее враг хорошего )

Владимир

8 июля 2019, 13:53

Поддерживаю товарища, который высказал мысль, что на фиг эти каноникал не каноникал. Отражает текст запрос юзера - гуд, не отражает - не гуд. А то слишком мудрено получается.

Антон

8 июля 2019, 14:51

"страницы, размеченные как неканонические могут быть полезны" - вы уверены что это верно написано? Если страница неканоническая, то в чём проблема проиндексировать?
"В результате сайт не находится по запросу-цитате, соответствующей тексту за пределами первой странице." - не верное склонение.
Хорошо было бы переписать данный материал в более понятном виде и местами более простым языком. Ну и конечно контролировать склонение...

Mikhail

8 июля 2019, 18:21

Добрый день, я так и не понял, надо их ставить или нет ( конкретно для меня

вот пример, есть одна страница сайта, но с добавлением одного параметра, она меняет контент, т.е.

нормальное состояние, на ней отображается полноценный контент (текст, картинки, определенный виджет, и т.д.)
https://site.com/apple.html

но есть и, которая отображается на других сайтах в iframe, но без текста и т.д. только виджет
https://site.com/apple.html?widget=1

мне тут как быть, ставить
<link href="https://site.com/apple.html" rel="canonical" />

или в обще это все убрать?

уже поднадоело, смотреть как там все прыгает в истории обхода, то N / a ⇒ 200, то 200 => N/a и т.д. что-то постоянно все прыгает, и судя по показателем посетителей все меньше и меньше.

Сайт древний 6 лет ему, куча контента, даже грустно смотреть на стату с показателями в 300 уников(

Сорян за последнюю часть ) , наболело

Mikhail

9 июля 2019, 11:20

Mikhail,

это что происходит все страницы, ушли в дуболь ...

Mikhail

9 июля 2019, 11:32

Mikhail,

убрал эту ерунду, повелся на красивые слова, реально все страницы ушли в дубли, причем, есть конкретная страница про "яблоки", а система говорит, что это дубль страницы "паровозов", ну ппц

Елена Першина

Сотрудник Яндекса10 июля 2019, 10:33

Mikhail,

Если содержимое таких страниц будет в значительной мере отличаться, использовать атрибут rel="canonical" нет необходимости, так как в этом случае он, скорее всего, не будет учитываться поисковой системой. При этом, если страницы вида https://site.com/apple.html?widget=1 не содержат какого-то контента, который может быть интересен пользователю в поиске, их индексирование можно ограничить при помощи других методов. Например, страницы с get-параметрами, как в примере выше, можно ограничить при помощи директивы Clean-param в robots.txt: https://yandex.ru/support/webmaster/robot-workings/clean-param.html .
Что же касается дублей страниц, изменения, о которых мы написали, не должны привести к признанию страниц дублирующими: если робот не учел атрибут, это означает, что содержимое страниц в достаточной мере различается, чтобы они могли участвовать в поиске отдельно друг от друга. Если какие-то ссылки, контент которых отличается, были исключены из поиска как дубли, напишите, пожалуйста, об этом через форму обратной связи Яндекс.Вебмастера: https://yandex.ru/support/webmaster-troubleshooting/site-indexing/bad-indexing/missing-reasons.html . Будем разбираться.

TRUE

8 июля 2019, 18:26

Ну ладно к слову. Автомобильный каталог куча технической документации Audi Q3 AT и Audi Q3 MT робот считает их одинаковыми по факту совершенно две разные модификации, начиная от типа коробки заканчивая компановкой. Как быть?

Елена Першина

Сотрудник Яндекса9 июля 2019, 11:14

TRUE,

в поддержку нам написать - и еще раз убедиться, что документация правда разная.

Обновлено 9 июля 2019, 23:22

TRUE

9 июля 2019, 11:45

Елена, Ваши коллеги из автору должны понимать о чем я. Естественно контент разный по ряду параметров. А по какому адресу в поддержку писать и в каком контексте?

Елена Першина

Сотрудник Яндекса9 июля 2019, 23:23

TRUE,

через форму обратной связи Вебмастера, ссылка внизу страницы сервиса.

drip tip

8 июля 2019, 19:10

Люди добрые, у меня нет этого нет этого атрибута. Интернет магазин driptip.ru. Прочитал вроде всё, но так и не понял. Нужно ставить этот атрибут или нет?

Елена Першина

Сотрудник Яндекса10 июля 2019, 10:34

drip tip,

Стоит ли ставить атрибут, решать вам как владельцу сайта. В такой ситуации рекомендуем оценить, если ли на сайте страницы, контент которых полностью или практически полностью совпадает с содержимым других страниц. Например, можно проверить в Яндекс.Вебмастере, не были ли исключены те или иные страницы как дубли. Если такие страницы есть, можно использовать атрибут rel="canonical", чтобы явно сообщить поисковой систем, какая из страниц-дублей должна быть в поиске. Рекомендуем также ознакомиться с рекомендациями из нашего поста: https://yandex.ru/blog/platon/dubli-kak-ikh-izbezhat-voprosy-i-otvety . Возможно, это поможет определить, для каких случаев нужен атрибут.

Александр Северинов

8 июля 2019, 21:24

Приветствую.
Я, возможно многого недопонимаю, но что-то уже через край.
У меня один сайт. ОДИН. До того, как он стал известен Яндексу - он стал https и от рождения был без www. Однако Яндекс сообщает: «Главное зеркало Вашего сайта изменилось на www. В поиске Вам светит борода. Срочно добавьте в панель вебмастера сайт с www и укажите, что он - НЕ ГЛАВНОЕ ЗЕРКАЛО.»
Нет. Ну это нормально? Нафигаказебаян?! Его там и не было. Зачем высасывать из пальца???
Победили www. Добавили в панель несуществующий в принципе сайт и указали, что он плохой ))). Натыкали редиректов всяких. Теперь под всеми страницами: «Канонический адрес не указан»...
Понимаете - ну не нужен мне ни второй придуманный Вами сайт, ни третий, ни двадцать третий. В работе ОДИН - https://sitename.ru... с первого дня. Это не дубли на «моих сайтах», это - Ваши выдумки.
Придумайте, в конце концов, механизм с кнопкой - «ЭТО МОЙ ЕДИНСТВЕННЫЙ САЙТ», вместо механизма «это мое главное зеркало».
==================================================
Однажды на хабре прочитал статейку про ошибочную директиву в коде какого-то там месенджера. Так вот он использовал несколько лишних тактов процессора. На миллионах устройств суммарно этот промах за месяц сжирал энергии столько, сколько ГЭС не всякая дает. Представляете, какое умопомрачительное количество человеко-часов поглощает яндекс с такой сумасшедшей переоптимизацией? Каждый день десяток лет от жизней нашего брата...

У Вас робот то Вам еще подчиняется? Или с нами уже проще управляться, чем с ним? )))))))))))

Обновлено 8 июля 2019, 21:27

Елена Першина

Сотрудник Яндекса9 июля 2019, 11:12

Александр Северинов,

Добрый день! Это не придуманный сайт - он есть). А вот почему зеркало изменилось - это лучше у поддержки Вебмастера напрямую уточнить.

born762

9 июля 2019, 11:43

Приветствую!
Как всегда только сарказм :) . Делаем сайты для людей, бла-бла-бла.
Мои доблестные Платоны :))), стоящие на страже поиска.
А вы реально подумали, перед тем, как это делать? Или просто не смогли?
https://www.born-spb.ru/catalog/videokamery.html

Это страница листинга категории, там внизу по пагинации, можно перейти на 14!!!! страниц, вы себе реально представляете смысл в выдаче этих страниц? Про дополнительную индексацию я молчу. Что пользователю может дать!!! в выдаче страница категории номер 2, если с одного сайта все равно будет в выдаче 1 страница? Может разумно предположить, что человек!!! начнет с первой!!! Где самые топовые товары, а потом уже пойдет куда ему надо, через фильтр или через пагинацию. Вы бы лучше ввели, дополнительный тег, заместо каноникала (который единственный позволяет убрать из выдачи кучу мусора, думаете в роботе все смогут грамотно закрыть от индекса все не нужное?). Аналог прева от гугла, для четкого разделения - что это пагинация!!! Это решение.

armnbass

9 июля 2019, 13:52

Я вам отвечу откуда тут ноги растут. На "мега крутой" толоке есть такое задание - DbD попарное сравнение сайтов. Так вот там как раз и проскакивают все эти многостраничные примеры (сам лично видел). И сколько не писал платонам и админам толоки - им до одного места. У них в порядке вещей выгружать в топ 404 страницы, а вместо основной версии давать на десктоп мобильные версии сайта. То же самое и с этой темой. Весь их хваленый интеллект сводиться к проплачиванию ответов от кучи не всегда адекватных толокеров, которые, кстати, и продвигают все проекты яндекса.

Елена Першина

Сотрудник Яндекса9 июля 2019, 16:09

не переживайте, по пагинации правила старые )

Павел

9 июля 2019, 16:50

можно уточнить где можно почитать последние рекомендации по пагинации? Статья платона про пагинацию вредительская какая-то, там в комментах несколько раз все меняется с ног на голову, предыдущие утверждения опровергаются или противоречат друг другу. Надо каноникал на первую или на саму себя ставить в пагинациях листинтов?

Обновлено 9 июля 2019, 16:50

Павел

9 июля 2019, 16:49

гугл уже 5 лет не использует prev-next

BERKsTUD

26 января 2020, 16:06

для грамотного закрытия от робота всего не нужного, нужно просто грамотная реализация формирования ссылок сайтом, в купе с атрибутом noindex + ЧПУ - как минимум. А не - ".php&page=1". Но ничего, со временем все сайты про голые ссылки забудут - как про страшный сон.
Хотя как знать. Все голоштанные сайты - заложники того, что если если этот голоштанный URL будет изменён на ЧПУ, то он (сайт) исчезнет из выдачи минимум на пол года.

Обновлено 26 января 2020, 16:08

pavel.nagovitsin

9 июля 2019, 18:45

Коллеги, а что по поводу межхостового canonical? Он стал обрабатываться? Ситуации бывают разные, например у меня на 1 сайте есть поддомен, на котором абсолютно другая информация, т.е. он отличается от основного вида деятельности. Но, есть общие страницы филиалов и акций, могу ли я указать на таких страниц каноникал на другой домен/поддомен?

platon

Сотрудник Яндекса16 июля 2019, 12:40

pavel.nagovitsin,

межхостовый атрибут rel="canonical" в данный момент все еще не поддерживается. В рамках групп сайтов http/https, а также с www и без www атрибут можно использовать как указание на главное зеркало (подробнее об этом здесь: https://webmaster.yandex.ru/blog/samye-populyarnye-voprosy-pro-pereezd-sayta-na-segodnyashniy-den ), но исключить ссылки из поиска как неканонические страниц другого сайта возможности нет.

Ann

10 июля 2019, 11:43

Здравствуйте, в разделе страницы сайта высвечивается что канонический адрес не указан для site.ru/index.php и почему то две страницы в поиске site.ru и site.ru/index.php. на мой взгляд такие страницы как index.php не должны быть в поиске если уже присутствует страница без этого. Каким образом я могу прописать каноникал для index.php? Заранее спасибо, с уважением

windows.bel

10 июля 2019, 11:41

Ann,

index.php закрыть в robots.txt

Александр

10 июля 2019, 13:48

Подскажите, как решить проблему: оптимизировал сайт-каталог, переехал на https (301 редиректы, каноникалы всё ок), убрал одну лишнюю заглавную категорию (каталог, в пути была /catalog), у всех товаров и категорий изменился адрес (без /catalog). Поставил 301 редирект и каноникал корректный. Должно-быть всё хорошо по логике, но уже больше месяца страницы со старого http переходят на новый, позиции просели сильно, многие вылетели. С http на https переходит по 5-10 страниц в день! Это ппц как медленно

Елена Першина

Сотрудник Яндекса11 июля 2019, 10:39

Александр,

из такого описания тут не понять, к сожалению, в чем проблема. Давайте на реальном примере разберемся, напишите нам в поддержку?

l.shikowa

11 июля 2019, 10:32

То то яндекс проиндексировал все мои amp страницы при подключении и стал их показывать вместо обыкновенных страниц моего сайта, от большого ума наверное. Потом я все исправила, но честно говоря не ожидала, что Яндекс не воспринимает тег canonical.

Елена Першина

Сотрудник Яндекса11 июля 2019, 11:15

l.shikowa,

а почему у вас amp и обычные страницы сайта по контенту не совпадают?

Руслан Филонов

12 июля 2019, 21:53

Добрый день. Еще проблема такая,

Отсутствуют метатеги <Description>
На многих страницах сайта отсутствуют или некорректно заполнены метатеги Description. Это может негативно повлиять на представление сайта в результатах поиска.

Эта ошибка уже 4 месяца не пропадает... Как быть? На переобход можно только 20 добавлять. В карте сайта есть. А страниц 2500.

Елена Першина

Сотрудник Яндекса13 июля 2019, 20:23

Руслан Филонов,

можно в поддержку об этом написать. Но вообще, если все поправили, то переживать не нужно. Робот при переобходе данные обновит. Информация о проблеме может обновляться с задержкой, к сожалению.

BERKsTUD

26 января 2020, 16:20

Руслан Филонов,

если на всех страницах заполнен метатег description и вы в этом уверены на все 100 (своими глазами видите), то есть вероятность что роботу скормился RSS-канал (по не закрытым ссылкам на самом сайте, атрибутом: rel="nofollow"). В этом случае закройте его в robots.txt директивой Disallow: /rss.xml и Disallow: /rss/, до кучи (если у вас используется RSS и в категориях и на самих страницах).

Обновлено 26 января 2020, 16:23

Andrei Maksimov

15 июля 2019, 10:32

Не знаю, как написать в ТП.

В последнее время стали приходить уведомления об отсутствии тега canonical для важных страниц. Естественно, такая проблема может быть и для "не важных" страниц - просто уведомления не доходят.

См. скрины. Что может быть не так. Проверял версию для ПК и мобильную - всё ОК.

https://yadi.sk/i/Iaym-t7savu5DQ

https://yadi.sk/i/8idpLUVU12ckPw

Обновлено 15 июля 2019, 10:33

Елена Першина

Сотрудник Яндекса15 июля 2019, 12:41

внизу Вебмастера есть ссылка на обратную связь - если через неё напишите, сможем помочь.

Andrei Maksimov

15 июля 2019, 12:55

вы не поверите. Я всё облазил и не нашёл, как вам написать по данному вопросу. Ссылка на Обратную связь ведёт на список разделов)).
Нашёл только в "Другой вопрос о сервисе Яндекс.Вебмастер" - запрятано основательно))
Про мобильную версию сразу нашёл, как написать. Написал, благодарю! ;)

Andrei Maksimov

15 июля 2019, 12:55

а-то вообще не понимаю, почему так любит сайт Г и не любит Я(((.

Елена Першина

Сотрудник Яндекса15 июля 2019, 13:11

начните с нашей Диагностики в Вебмастере - посмотрите, что нам не нравится.

Обновлено 15 июля 2019, 13:32

Andrei Maksimov

15 июля 2019, 13:22

одна рекомендация только: "Сайт не оптимизирован для мобильных устройств". Доработали сайт, отправлял на повторную проверку, далее "Веб-мастер" сообщает, что не соответствует всё-равно и самое главное - "главная" же страница. При том, что проверку проходит.

Подробности в сегодняшнем тикете: 19071507101541643 .

Второе - это канонические страницы. Подробности также в сегодняшнем тикете: 19071509553144043 .

Аля Мышцы любви

16 июля 2019, 14:12

страницы моего сайта неканонические, а мертвого вот уже как года 2 сайта видимо канонические, раз Яндекс выдает его первым на страницы

Елена Першина

Сотрудник Яндекса17 июля 2019, 19:44

Аля Мышцы любви,

слова - это хорошо, реальные примеры - еще лучше.

Обновлено 17 июля 2019, 19:44

Роман А.

17 июля 2019, 12:33

добрый день! у меня был переход на протокол htpps на новом сайте . В данный момент в вебмастере все стр. указаны "канонический адрес не указан" . В старой версии http вообще нет стр в поиске. Это может быть проблемой для меня...Ни одного ключа нет в поиске по запросам. Хотя работа над сайтом идёт...

Елена Першина

Сотрудник Яндекса17 июля 2019, 19:45

Роман А.,

вопрос конкретно в чем и задали ли вы его в поддержку? какой номер тикета?

Комментарий удалён

platon

Сотрудник Яндекса19 июля 2019, 12:58

если какие-то страницы, на которых был установлен атрибут rel="canonical", попали в поиск, рекомендуем проверить информацию о страницах в разделе "Страницы в поиске". Инструмент покажет, был ли обработан атрибут на страницах: если у ссылок указана информация о том, что атрибут не указан, возможно, в настройках атрибута есть какие-то проблемы и стоит проверить указания. Если атрибут обработан корректно, но страницы попали в поиск, это действительно не ошибка. Это означает, что контент неканонических и канонической страницы в существенной мере отличается, поэтому неканонические ссылки могут быть полезны пользователям и были включены в поиск.

Комментарий удалён

platon

Сотрудник Яндекса20 июля 2019, 12:27

1. В случае страниц пагинации мы в данный момент не рекомендуем указывать атрибут rel="canonical" на первую страницу каталога, однако окончательное решение принимать вам как владельцу сайта. Если вы уверены, что такие страницы не содержат контента, который может быть полезен и интересен пользователю, вы можете использовать атрибут.
2. По желанию, вы можете как прописать атрибут rel="canonical" с указанием на самих себя, так и не указывать его совсем. И в том, и в другом случае страницы будут рассматриваться как канонические и смогут индексироваться в обычном режиме.

Комментарий удалён

NoName

21 июля 2019, 02:41

Допустима ли следующая стратегия или система?
1. Считаем, что с высокой вероятностью страницы пагинации не несут полезного контента для пользоваьелей поиска, но при этом среди них может существать отличное от нуля количество страниц с полезезным контентом. Например всего имеется N страниц пагинации, из них K << N полезных.
2. Тогда используется "мягкий" вариант фильтрации - устанавливается canonical на первую страницу и если робот сочтет, что полезного контента какой либо из мтраниц нет, и та или иная страница схожа с первой, то они склеются, а если робот посчитает, что i-я страница пагинации может быть полезна для каких то специфических поисковых запросов, под которые нет канонических посадочных страниц, то такая страница проиндексируется и будет участвовать в поиске по этим запросам.

NoName

21 июля 2019, 02:57

В качестве примера:

Имеется в целом однородный каталог товаров, но в ряде случаев могут возникать компактные группировки товаров с экзотическими признаками, под которые, в связи с их экзотичностью и редкими запросами на поиск таких товаров, не создавались специальные посадочные страницы. Но так как их все таки могут искать, такие компактные группировки могут быть релевантнее первой страницы каталога, для людей ищущих именно такие экзотические товары. Причем экзотичность может быть просто какой то небольшой особенностью, например хромированной ручкой регулировки громкости.

platon

Сотрудник Яндекса22 июля 2019, 10:56

мы подумаем над тем, что делать с вебинаром, спасибо, что обратили внимание.
Для страниц пагинации вполне возможно использовать атрибут rel="canonical" с указанием на первую страницу, но не стоит пугаться, если такие страницы попадут в поиск: это означает, что их контент в существенной мере отличался.
Окончательное же решение о том, оставлять ли в поиске такие страницы, принимать вам как владельцу сайта. Если вы уверены, что эти страницы в выдаче не нужно, можно использовать другие средства ограничения их индексирования: например, директиву Clean-param или Disallow в robots.txt сайта.

platon

Сотрудник Яндекса23 июля 2019, 08:36

NoName,

да, такая система вполне допустима.

Демьян

19 июля 2019, 19:03

Яндекс 13 июля добавил в индекс страницы site.ru/page/1/ - site.ru/page/500/
с Припиской

Страница попала в поиск, поскольку во время её сканирования роботом её содержимое существенно отличалось от содержимого страницы по адресу https://site.ru, который был указан в атрибуте rel="canonical" в исходном коде. Исправьте или удалите атрибут canonical, если он указан некорректно. Робот отследит изменения автоматически.

теги на на таких страницах (для примера https://site.ru/page/3/ ) -
<link rel='prev' href='https://site.ru/page/2/' />
<link rel='next' href='https://site.ru/page/4/' />
<link rel="canonical" href="https://site.ru/" />
Попали в поиск именно страницы навигации с главной. С категориями ничего не случилось
Что с этим делать? Спасибо

Обновлено 19 июля 2019, 19:05

platon

Сотрудник Яндекса20 июля 2019, 12:28

Демьян,

если такие страницы были включены в поиск, это означает, что их содержимое в достаточной степени отличалось между собой, из-за чего неканонические ссылки были включены в поиск. В таком случае, возможно, эти страницы навигации могут содержать полезный для пользователей контент, и исключать их из поиска нет необходимости.
Если же вопрос их отсутствия в выдаче очень важен, и вы уверены, что они не несут полезной пользователям информации, вы можете ограничить их индексирование, например, запретив в robots.txt сайта.

Комментарий удалён

platon

Сотрудник Яндекса25 июля 2019, 08:23

если такие страницы проиндексированы и участвуют в поиске, по возможности, описание для этих страниц действительно лучше указать.

Максим Н.

21 июля 2019, 23:33

Здравствуйте

Всё по классике - у контентного сайта есть главные категории, посты в них имеют короткий анонс в виде части начала описания каждого поста. Каждая такая категория разбита на страницы и согласно правил канонической прописана первая страница. Но по сути каждая отдельная страница в категории отличается друг от друга (что логично, анонсы то у постов разные). С одной стороны я согласен (и я ранее считал, что он так и делает), что поисковик должен видеть не только первую страницу, а все страницы категории и вычислять из них суммарную релевантность, но возникает несколько вопросов:

1. почему вебмастер говорит "Исправьте или удалите атрибут canonical, если он указан некорректно?" Т.е. Яндекс ожидает что я теперь должен убрать тег канноникал со всех страниц пагинации?

2. Что делать с главными метатегами? Как правило все последующие страницы дальше 1-й имеет тот же самый Тайл и дескрипшен, за той лишь разницей, что в Тайтле я дописываю "| Страница №" а дескрипшен остается тот же. Как Яндекс будет смотреть на эти дубли?

platon

Сотрудник Яндекса23 июля 2019, 08:37

Максим Н.,

1. Это предупреждение не обязательно говорит об ошибке, оно носит информативный характер. Если вы специально установили атрибут, удалять его в такой ситуации нет необходимости.
2. Мета-теги могут учитываться роботом, однако при проверке страниц и признании их дублями учитывается все содержимое страниц, поэтому, если в целом контент будет отличаться, они не должны быть признаны дублирующими. Какой же контент указывать в тегах <title> и <description>. решать вам как владельцу сайта.

Екатерина Д.

25 июля 2019, 10:30

А если у страниц пагинации,что были закрыты каноникалом, title такой как у 1ой страницы, и сейчас эти страницы Яндекс массово закидывает в индекс - получается ошибка с дублированием одного title на многих страницах? Надо теперь в любом случае делать уникальные title на случай, если Яндекс решит, что контент все же отличается?

platon

Сотрудник Яндекса25 июля 2019, 11:54

Екатерина Д.,

стоит ли менять данные в тегах <title> и <description>, решать вам как владельцу сайта. Если страницы пагинации были включены в поиск, это означает, что их содержимое в данный момент уже в достаточной мере различается, и они не будут признаны дублирующими.

Захар Галузо

23 июля 2019, 10:38

Здравствуйте. В какой-то момент стали добавляться страницы пагинации интернет-магазина в индекс, на второй и последующей стоял canonical на раздел. Они попали в индекс как неканонические и с последним апдейтом сайт улетел за ТОП-100. За последнее время кроме добавления/удаления товаров никаких критических изменений не производилось, соответственно я полагаю, что причина выпадения за ТОП-100 в резком приросте страниц за счет пагинации, которые по факту бесполезны на поиске.

Как с этим быть?

Обновлено 23 июля 2019, 10:40

Елена Першина

Сотрудник Яндекса23 июля 2019, 14:39

напишите нам в поддержку Вебмастера, пожалуйста. Скорее всего, с canonical это не связано.

Захар Галузо

23 июля 2019, 19:02

Отписал в техподдержку. Получил ответ: "Благодарим за письмо. Мы проверим, нет ли проблем с ранжированием вашего сайта, и при необходимости внесем соответствующие изменения в наши алгоритмы."

Это значит, что мне еще напишут или что? Просто я даже не знаю куда копать, в поисках причины)

platon

Сотрудник Яндекса24 июля 2019, 08:39

а можете, пожалуйста, номер обращения прислать? Тоже посмотрю.

Захар Галузо

24 июля 2019, 14:37

Да, конечно.
Ticket#19072300004954963

Захар Галузо

24 июля 2019, 14:44

только что проверил, позиции вернулись)

platon

Сотрудник Яндекса25 июля 2019, 08:34

искренне рад за вас :)

Евгений

22 августа 2019, 14:23

а поделиться с читателями? В чем же ж была проблема?

dmdzen

23 июля 2019, 11:13

Добрый день!

Есть сайт с пагинацией главной страницы. На каждой отдельной странице canonical указывает на главную страницу сайта.

И они полезли в поиск)

Скажите, пожалуйста, можно ли их закрыть метатегом noindex follow? (тем самым зпретив их индексацию)
Или лучше через robots.txt это сделать?

Спасибо!

platon

Сотрудник Яндекса25 июля 2019, 08:28

dmdzen,

если вы уверены, что такие страницы не будут интересны пользователям и их содержимое не должно индексироваться, вы можете запретить их индексирование как при помощи мета-тега noindex, так и в robots.txt сайта. Кажется, что в такой ситуации проще будет запретить при помощи директивы в robots.txt, ведь директива Disallow (или Clean-param) позволяет запретить сразу большой массив однотипных ссылок, и роботу будет достаточно обработать robots.txt, чтобы узнать о запрете.

dmdzen

25 июля 2019, 19:04

Спасибо за ответ.
То есть, можно не закрывать от индексации и оставить canonical , который ведет на главную страницу сайта? Это не будет катастрофой?
Голова уже кругом идет после прочтения комментов =)

platon

Сотрудник Яндекса29 июля 2019, 08:38

dmdzen,

да, атрибут rel="canonical" вполне можно оставить. Если контент неканонических страниц будет существенно совпадать с канонической, они будут исключены из поиска. Если контент будет различаться - страницы с таким атрибутом смогут участвовать в поиске как обычные страницы.

Комментарий удалён

dmdzen

25 июля 2019, 19:02

Почему же Гугл так жестоко обойдется с сайтом?

devetyarov.d.n

25 июля 2019, 19:10

dmdzen,

Закрой и посмотри что будет происходить с сайтом. У каждой поисковой системы свои фишки и алгоритмы, нужно искать золотую середину.

Комментарий удалён

dmdzen

25 июля 2019, 20:14

Интересная мысль.
Думаю, что пока стоит остановиться на варианте с canonical, который указывает на главную страницу. Тем более, что (судя по комментам и самой статье), такое решение тоже имеет полное право на жизнь для Вордпресс с категориями и пагинацией.
Вы сами на каком варианте остановились, если не секрет?

Комментарий удалён

dmdzen

25 июля 2019, 21:12

Спасибо за ответ. У себя оставил так-же оставил, как у Вас (каноникал ссылается на главную)
Мне тоже прилетело, что нет описания в Дескрипшенах. Но я просто прописал их в рубриках, а они подтянулись на все другие страницы пагинации. Да, не уникально. Но как их уникализировать, да и так ли это вообще критично - непонятно.

Обновлено 25 июля 2019, 21:12

Комментарий удалён

Елена Першина

Сотрудник Яндекса26 июля 2019, 14:37

из вашего описания сложно понять, что реально случилось с сайтом, но уверена, что это никак не связано с изменениями в обработке канонических страниц. Так что тут лучше с поддержкой Вебмастера через обратную связь продолжить общение.

sauna-life

23 июля 2019, 11:33

А как быть с товаром? Например модель техники может отличаться на одну или две цифры обозначающие мощность. И цена у них разная. И по сути это разный товар. Как с ним быть? Клиент ищет технику мощностью 8 кВт, а ему каноническая предлагается которая на 6 кВт. Это же ерунда...Пользователь может подумать что есть на 6 кВт а на 8 нет на этом сайте и не кликнет.
Или та же техника может отличаться какой то доп. функцией встроенной. Например пульт управления на корпусе, у другой такой-же модели пульт дистанционный, цена тоже разная и по сути это разный товар. Но в названии отличие только в двух буквах, при технических характеристиках полностью одинаковых и описании.
Как быть?

Обновлено 23 июля 2019, 11:36

Елена Першина

Сотрудник Яндекса23 июля 2019, 14:50

sauna-life,

тут как и раньше, ничего не меняется.

sauna-life

23 июля 2019, 15:32

все так же не совершенно ? :)

Елена Першина

Сотрудник Яндекса23 июля 2019, 21:31

sauna-life,

все также хорошо, если все корректно настроено )

Евгений

22 августа 2019, 14:12

а по-моему сильно не хорошо.. ваш же Маркет требует "Каждый товар должен быть представлен на отдельной странице сайта, с которой можно перейти к оформлению заказа." и страницы товара с комбобоксом выбора характеристики, от которой меняется цена товара заворачивает при модерации. О какой хорошести канонических страниц карточек товаров вообще идет речь, если Яндекс своими же сервисами заставляет плодить чуть ли не дубли или заплатки под свои сервисы?

Oleg S.

24 июля 2019, 06:40

"размеченные как неканонические могут быть полезны, а их наличие в поиске может влиять на качество и полноту ответа на запрос пользователя"
Категорически не согласен с такими выводами.
Так к примеру тот же WP генерирует кучу дублирующих страниц, которые по сути являются спамом, индексируются роботами Яндекса и попадают в поиск. Ни кто с этим ничего сделать не может. И даже применение специальных плагинов типа "All In One SEO Pack" проблему кардинально не решают и как-либо избавится от дубликатов (неканонических страниц), убрать, удалить их из поиска не удаётся. Так и болтаются гирями на "ногах сайта".
П.э. категорически не разделяю выводов автора.

Елена Першина

Сотрудник Яндекса25 июля 2019, 11:21

Oleg S.,

никто не говорит, что все неканонические страницы полезны, речь об отдельных примерах.

Дмитрий Николаевич

10 апреля 2020, 14:56

Так вот у меня как раз обратный случай.
Узкотематический ресурс. Эзотерика.
2 раздела. Каноникал на первую.
Почти ВСЕ страницы пагинации попали в индекс уже давно.
При этом я ни разу не видел, чтобы они приносил органический трафик.
Как только я, видимо по своей глупости, решил установить каноникал на первую вместо meta robots noindex follow, ИКС стал снижаться с каждым апдейтом.
Придётся использовать строгую директиву, чтобы исключить полностью некачественные дублирующие страницы из поиска.

platon

Сотрудник Яндекса11 апреля 2020, 02:00

мы, к сожалению, не можем гарантировать, что на какие-либо страницы в поиске непременно будут переходы пользователей, включая и страницы пагинации. Если такие ссылки попали в поиск, это означает, что их контент отличается, и они могут быть интересны пользователям, однако окончательное решение принимать вам как владельцу сайта. Если вы видите, что такие страницы в поиске не нужны, можно действительно использовать более строгие методы.
Что касается показатели ИКС, если у вас есть вопросы относительно его изменений, напишите, пожалуйста, по этому вопросу в службу поддержки для более подробного изучения: https://yandex.ru/support/webmaster/site-quality-index.html?lang=ru

Геннадий Федоров

14 августа 2019, 20:47

Oleg S.,

читайте, учите, как раз с этим все решается...

do-site

26 июля 2019, 09:44

При включении в поиск страниц doc и pdf появляется коммент: "каноническая страница не указана" .
На что-то влияет? Надо что-то предпринимать?

platon

Сотрудник Яндекса29 июля 2019, 08:39

do-site,

указывать атрибут rel="canonical" в такой ситуации не обязательно, это сообщение носит информативный характер. Если страницы или документы не будут содержать атрибута, они будут по умолчанию рассматриваться как канонические и смогут индексироваться в обычном режиме.

mamikonars

6 августа 2019, 08:56

Вопрос насчет "Отсутствуют метатеги <Description>".

Все проблемы из-за категорий.
Например, есть страница site.ru/novinki/ и у нее есть определенный дискрипшн.
У страницы site.ru/novink/page/2/ и site.ru/novink/page/3/ тоже должен быть тот же дискрипшн, что и у site.ru/novinki/ ?

У категорий стоит rel="canonical" вместе с rel='prev' и rel='next'. Подскажите пожалуйста, как должно все быть, а то предупреждение недавно появилось в вебмастере.

platon

Сотрудник Яндекса6 августа 2019, 12:51

mamikonars,

правильно ли я понимаю, что предупреждение об отсутствии мета-тега description появилось после того, как неканонические страницы пагинации были включены в поиск? Мы рекомендуем устанавливать данный мета-тег для всех страниц, которые могут участвовать в поиске и отображаться по запросам пользователей. Какое именно описание указать, решать уже вам как владельцу сайта. Если вы считаете, что описание корневой страницы раздела site.ru/novinki/ подходит и для страниц пагинации, то его можно использовать и для этих страниц.

Евгений

22 августа 2019, 14:19

в декабре 2015-го писали - ставьте canonical на 1-ую страницу пагинации. Сейчас вебмастер пишет "Страница попала в поиск, поскольку во время её сканирования роботом её содержимое существенно отличалось от содержимого страницы по адресу __url__, который был указан в атрибуте rel="canonical" в исходном коде. Исправьте или удалите атрибут canonical, если он указан некорректно. Робот отследит изменения автоматически." - по сути говорит теперь обратное, мол снимай canonical, танцуй с бубном, чтобы контент страниц пагинаций имел свои title, дескрипшены и т.п. и не воспринимался поисковиком как дубликат существующей на сайте страницы. Может уже пора определиться как правильно?

spectrdirect

7 августа 2019, 18:07

А надо ли на Главной странице прописывать, что она является Главной ?
На остальных уже прописано, что они не канонические.
Спасибо.

platon

Сотрудник Яндекса9 августа 2019, 08:59

spectrdirect,

указывать атрибут rel="canonical" на главной странице с указанием на саму себя не обязательно: если атрибут будет отсутствовать, то страница все равно будет считаться канонической и индексироваться как обычно. По желанию, такой атрибут можно и указать, на индексирование страницы это повлиять не должно.

Дмитрий Николаевич

9 августа 2019, 23:25

Не хочу умничать. Позволю себе высказать осторожное мнение. Возможно, что Платоны и участники обсуждения со мной не согласятся.
Что мы имеем в настоящее время? Всё, о чём я напишу, касается информационных ресурсов и моих личных наблюдений.
1. Почти всегда, при очередном посещении страниц пагинации роботом, он информирует о том, что контент на неканонической странице существенно отличается от канонической. Как результат, со временем, все неканонические страницы пагинации попадут в поисковую выдачу.
Вывод: нет никакого смысла указывать каноникал на начало раздела. Кстати, Гугл (Андрей Липатцев) также считает это решение ошибочным.
Итог: прописываем каноникал для страниц пагинации информационного ресурса "сам на себя".
2. Неканонические страницы робот посещает намного реже, чем канонические, не так ли? В таком случае, внутренние ссылки, расположенные на страницах пагинации, будут сканироваться относительно редко. А это не есть хорошо.
3. У меня возник всего один вопрос. К Платонам.
Я указал каноникал "сам на себя". Теперь все без исключения страницы пагинации попадут в индекс. А их, простите, более 2000.
Я точно не знаю, насколько они могут быть полезны для посетителей органической выдачи.
Какова вероятность того, что после их индексации Яндекс сочтёт их недостаточно качественными, понизив релевантность действительно важных документов?

Обновлено 9 августа 2019, 23:26

platon

Сотрудник Яндекса12 августа 2019, 10:01

канонические страницы вполне могут оцениваться алгоритмом на предмет включения их в результаты поиска, но сложно сказать, какова вероятность их исключения, поскольку учитывается очень большое число разных факторов. При этом исключение страниц пагинации, если такое произойдет, не должно как-то повлиять на участие в поиске тех страниц, которые были проиндексированы и включены в поиск.

Дмитрий Николаевич

12 августа 2019, 19:53

Я всего лишь хотел подчеркнуть, что на неканонические страницы робот заходит значительно реже, чем на канонические.
Поэтому я и решил последовать Вашему первому совету, который Вы мне дали.
Вы писали, что в настоящий момент Вы не рекомендуете указывать каноникал на первую страницу.

platon
Сотрудник Яндекса20 июля, 12:27
superseeder2011, 1. В случае страниц пагинации мы в данный момент не рекомендуем указывать атрибут rel="canonical" на первую страницу каталога, однако окончательное решение принимать вам как владельцу сайта. Если вы уверены, что такие страницы не содержат контента, который может быть полезен и интересен пользователю, вы можете использовать атрибут.
2. По желанию, вы можете как прописать атрибут rel="canonical" с указанием на самих себя, так и не указывать его совсем. И в том, и в другом случае страницы будут рассматриваться как канонические и смогут индексироваться в обычном режиме.

Обновлено 12 августа 2019, 19:54

Алексей К.

16 августа 2019, 13:06

Добрый день!
Смущает момент в связи с этим обновлением.
Есть довольно крупный интернет-магазин, у которого на страницах пагинации и страницах с гет-параметрами сортировки и фильтрации в листингах были прописаны атрибуты canonical на страницы без параметров. И все было хорошо, проблем с индексацией никогда не было.

После этого обновления в индекс стали массово залетать все эти страницы с пометкой "Страница попала в поиск, поскольку во время её сканирования роботом её содержимое существенно отличалось от содержимого страницы по адресу..." https://yadi.sk/i/omM7biYVKQABRA , а через какое-то время все эти страницы стали также массово вылетать как недостаточно качественные: https://yadi.sk/i/eV2APL5UNyUTOQ

В связи с этим вопрос: требуется ли что-то делать, чтобы избежать проблем? Ведь, как мы знаем, большое количество некачественных страниц на сайте ведет к негативным последствиям с точки зрения ПС.

Дмитрий Николаевич

16 августа 2019, 15:13

Алексей К.,

Аналогичная проблема.
В панели Вебмастера стали появляться страницы пагинации, удалённые из выдачи и помеченные как недостаточно качественные.
Если таких страниц будет много, тоже боюсь, что мы потеряем трафик.

platon

Сотрудник Яндекса17 августа 2019, 08:09

Алексей К.,

пожалуйста, напишите моим коллегам в поддержку https://yandex.ru/support/webmaster-troubleshooting-info/site-indexing/bad-indexing/low-quality.html#low-quality , посмотрят, что да как.

Евгений

22 августа 2019, 14:07

В конце 15-го года Платон, отвечая на вопрос "Что делать со страницами пагинации и сортировки товаров?" написал:

"Если в какой-либо категории на вашем сайте находится большое количество товаров, могут появиться страницы пагинации (порядковой нумерации страниц), на которых собраны все товары данной категории. Если на такие страницы нет трафика из поисковых систем и их контент во многом идентичен, то советую настраивать атрибут rel="canonical" тега <link> на подобных страницах и делать страницы второй, третьей и дальнейшей нумерации неканоническими, а в качестве канонического (главного) адреса указывать первую страницу каталога, только она будет участвовать в результатах поиска."

Теперь вот смотрю свежие изменения по проектам, где на страницах пагинации новостей, каталогов и т.п. настроены канонические адреса, и вижу, что теперь они добавлены в поиск с комментом "Страница попала в поиск, поскольку во время её сканирования роботом её содержимое существенно отличалось от содержимого страницы по адресу ___url____, который был указан в атрибуте rel="canonical" в исходном коде. Исправьте или удалите атрибут canonical, если он указан некорректно. Робот отследит изменения автоматически."

Ясен пень, что страницы пагиназции не идентичны первой - на любом сайте! Может быть пора подвести какой-то итог? Рекомендация все еще ставить canonical на 1-ую? Или убирать canonical? Вы там сами-то в итоге определились как лучше?

platon

Сотрудник Яндекса23 августа 2019, 09:02

Евгений,

вы вполне можете оставить атрибут rel="canonical" на страницах пагинации. При этом необходимо учитывать, что такие страницы могут попасть в поиск, если их содержимое в существенной мере отличается.

Miport.ru

23 августа 2019, 19:44

Ребят подскажите пожалуйста заметил что у конкурента аж 3 сайта висят в топ 5 по сео выдачи на один ключевой запрос, как это вообще возможно ?

Обновлено 23 августа 2019, 19:45

platon

Сотрудник Яндекса26 августа 2019, 07:48

Miport.ru,

напишите об этом моим коллегам в поддержку - посмотрят, что да как.

silberwe

29 августа 2019, 19:13

Я несколько в шоке. Все страницы моего сайта удалены из поиска, кроме одной, потому что они, по мнению робота, одинаковые. У меня нет одинаковых страниц! Просто я тексты писала для людей, а не для роботов.

platon

Сотрудник Яндекса30 августа 2019, 12:29

silberwe,

напишите, пожалуйста, моим коллегам в саппорт https://yandex.ru/support/webmaster-troubleshooting/site-indexing/bad-indexing/missing-reasons.html

Фролов Олег

1 сентября 2019, 23:41

У меня интернет магазин. Стандартный и таких же еще сотни три есть подобных.
Сейчас в вебмастере добавленно все три версии
https
http
www
Содержимое везде одинаковое совершенно. Как прописать канонические страницы и надо ли вообще делать это в моем случае?
Редиректы нужны в robots.txt прописывать в таком случае?

Что то совсем запутался с этими сложностями)

Спасибо

platon

Сотрудник Яндекса2 сентября 2019, 10:59

Фролов Олег,

рекомендуем определить, какой из сайтов вы хотите видеть в результатах поиска. Например, если индексироваться и участвовать в поиске должен сайт с https, то рекомендуем настроить редирект 301 с остальных двух сайтов с http и с www на него, чтобы явно указать роботу, по какому адресу сайт должен быть в поиске. Редиректы настраиваются не в robots.txt, как правило, их можно настроить в файле .htaccess или в панели Администратора сайта.
А уже в рамках сайта с https вы можете использовать атрибут rel="canonical" с указанием так же страниц с https в качестве канонических, как посчитаете нужным.

Фролов Олег

2 сентября 2019, 12:16

Ну а если содержимое везде на 100% одинаковое - как понять какой сайт я хочу видеть в поиске?))
Для Яндекса что лучше? Мне абсолютно не принципиально какой сайт будет в поиске - а Яндексу как поисковой системе есть разница?
Домену уже более 7 лет и обратных ссылок размещено больше на http. Но потом, с год назад примерно, переехал на https и ссылки стал размещать на эту версию. В .htaccess прописан 301 редирект на https

Для Яндекса - как источник траффика для моего сайта - предпочтительней https или тоже не совсем принципиально - с учетом того что содержимое полностью одинаковое?
В карте сайта сейчас прописано https
Нужно делать еще карты на http и www или нет?

И еще - с появлением быстрых ссылок в панели трафик уменьшился и сильно уменьшился. Это просто совпадение?

Спасибо

platon

Сотрудник Яндекса2 сентября 2019, 16:11

Фролов Олег,

мы со своей стороны рекомендуем использовать безопасный протокол https: https://webmaster.yandex.ru/blog/https-kak-znak-kachestva-sayta
Сайты же с www и без www индексируются в одинаковом режиме, поэтому вы можете выбрать любой из этих вариантов на свое усмотрение. Что касается файла sitemap, то его нужно размешать по тому адресу, по которому сайт будет участвовать в поиске. Если сайт индексируется по адресу https://site.ru, то и sitemap должен быть по адресу вида https://site.ru/sitemap.xml .
Про трафик - лучше уточнить у моих коллег в саппорте.

Фролов Олег

2 сентября 2019, 17:11

Спасибо

Рихарт Антон нач. отдела ИТ проектов

11 сентября 2019, 16:08

Что-то я не понял утверждения про невозможность на битриксе устанавливать канонические URL. У меня интернет-магазин на типовом решении сделан. В настройках инфоблока прописываю путь для канонических адресов, в настройках модуля ставлю галочку "использовать канонические адреса", вот и всё. Или Вы что-то другое имеете ввиду под каноническими адресами. Кстати, замечу что там при привязки товара к нескольким разделам можно выбирать основной, который будет использоваться как канонический.

NVT

12 сентября 2019, 07:58

На сайте около 100 страниц и все указаны как канонические, мне кажется или это бред? Или я что то не понимаю...

platon

Сотрудник Яндекса12 сентября 2019, 12:56

NVT,

опишите, пожалуйста, ситуацию подробнее. Лучше сделать это в заявке через форму обратной связи: https://yandex.ru/support/webmaster-troubleshooting/site-indexing/bad-indexing/missing-pages.html .

packmarket.ru.ya

13 сентября 2019, 10:24

Здравствуйте! Подскажите, пожалуйста, в итоге страницы пагинации для интернет-магазина нужно помечать атрибутом canonical на основной раздел или нет? Потому что в этом видео https://www.youtube.com/watch?v=2vIrCNnsCoo Вы говорите о том, что canonical настраивать нужно, а теперь, как я понимаю, не нужно. В итоге как правильно?

platon

Сотрудник Яндекса14 сентября 2019, 12:00

packmarket.ru.ya,

по желанию, вы вполне можете указывать атрибут rel="canonical" на страницах пагинации с указанием на первую страницу каталога в качестве канонической. При этом нужно учитывать, что если содержимое неканонических страниц будет отличаться, они смогут попасть в поиск. Вы также можете просто убрать атрибут, чтобы страницы могли индексироваться в обычном режиме.

Indeferend

14 сентября 2019, 18:52

Можете внести ясность, вот например у меня первая страница категории каноничная, 2я и дальше неканоничные с указанием canonical, если на первой странице встречаются например тапочки серые и черные, а на второй красные, а на третьей желтые. Если человек ищет желтые тапочки, то ему не выведет эту категорию, так как каноничной нет в поиске или же выведет каноничную первую, на которой нет такого товара или же всё нормально отработает?

platon

Сотрудник Яндекса15 сентября 2019, 09:28

Indeferend,

если неканонические страницы в поиске не участвуют, отображаться в поиске по запросам они не смогут.

rvd.center

29 сентября 2019, 01:42

В ЯД для всех страниц пишет каноническая страница не указана. Прописал везде rel=canonical ....результат тот же самый хотя ни одной дублирующей страницы нет на сайте, главное зеркалопрописано

LeonidMew

28 октября 2019, 18:07

Почему для канонической страницы так важно http или https указывать? По ошибке в конфиге сайта указал http, канонических страниц просто не стало совсем, сайт редиректит http в https все запросы. Зато в поиск попали страницы которые там не хотелось бы видеть, с идентичным содержанием. Через мод_реврайт эти вариации страниц загружаются с разными параметрами, при этом ответ одинаков для бота и людей. Заходы с поисковика просели. Можно как-то переиндексировать весь сайт? balkarey.ru

platon

Сотрудник Яндекса29 октября 2019, 11:06

LeonidMew,

напишите, пожалуйста, моим коллегам в поддержку, https://yandex.ru/support/webmaster/robot-workings/canonical.html , все подскажут.

Артем

30 января 2020, 15:26

Пару недель назад Яндекс в выдачу закинул 40 amp страниц! Зачем? Разве он еще не научился их распознавать?

Космос Внутри

12 февраля 2020, 20:09

На сайте jazi.ru обнаружил миллионы неканонических страниц. Есть ли смысл закрывать их от индексации?

Дмитрий Николаевич

2 марта 2020, 17:21

Уважаемые сотрудники Технической Поддержки.
Женскую половину - с наступающим 8-м Марта!
С момента данного обновления прошло уже восемь месяцев.
Разрешите мне задать уточняющие вопросы и простите за то, что вновь повторяюсь.
Я, как администратор (Вебмастер) официальных сайтов, считаю, что страницы пагинации информационных ресурсов образовались по мере их наполнения постами (контентом).
Автор их не создавал. По этой причине, я полагаю, что они не должны принимать участие в органической выдаче. Однако, и это крайне важно!
Такого рода страницы содержат по 10 внутренних ссылок.
Заголовок + анонс + кнопочка "читать полностью".
1. Не так давно на каждой странице пагинации стояла каноническая ссылка "сама на себя". В результате такого решения, я заметил, что страницы стали попадать в выдачу, однако чуть позже они были исключены, как недостаточно качественные. И таких страниц достаточно много.
Тогда.
2. Я решил прописать каноническую ссылку, как Вы советовали раньше, на главную (первую страницу) раздела.
Как Вы уже отмечали, не стоит смущаться, если некоторое число неканонических страниц попадут в поисковую выдачу.
Отсюда серия вопросов. Пожалуйста, ответьте.

1. Если неканоническая страница будет "склеена" с главной в категории, то она, само собой, будет исключена из выдачи.
Будет ли робот в таком случае переходить по внутренним ссылкам исключённой страницы?
Если да, то насколько реже? Ведь все неканонические страницы робот посещает намного (немного, сравнительно немного) реже, чем канонические.
2. Есть решение закрыть пагинацию специальным правилом в файле robots.txt. Листинг пагинации в индекс не попадёт гарантировано?
Если это так, тогда всё тот же вопрос. Будет ли переходить робот по внутренним ссылкам заблокированной от индексации страницы листинга?
3. Можно заблокировать страницы пагинации мета-тэгом robots noindex follow. Его понимают обе поисковые системы.
Чем отличается решение 2. от решения 3.?
Заранее благодарен Вам за ответы.

platon

Сотрудник Яндекса3 марта 2020, 08:01

спасибо за поздравление, передам обязательно!

По вопросам. 1. Да, поисковой робот может посещать ссылки с неканонических страниц.
Частоту обхода назвать сложно: на планирование и обход страниц влияет очень большое числе факторов. И если поисковому роботу уже известны ссылки на те страницы, которые указаны на неканонических адресах, например, из файлов sitemap, робот в любом случае будет обходить их.
2. Если запретить индексирование таких страниц в robots.txt, то поисковой робот не будет посещать их совсем. Запрещенные страницы смогут пропасть из базы поиска в течение двух недель. Так как ссылки не будут посещаться совсем, то и о ссылках с этих страниц робот узнать не сможет. В этом случае, если важно, чтобы поисковой робот узнал о каких-либо ссылках, которые содержатся на страницах пагинации, рекомендуем убедиться, что эти ссылки указаны в других источниках, доступных роботу: например, в файле sitemap сайта.
3. Да, такой метод, по желанию, тоже можно использовать. В этом случае робот сможет обращаться к страницам и обрабатывать ссылки из этих запрещенных страниц, при этом попасть в результаты поиска запрещенные ссылки не смогут.

Дмитрий Николаевич

3 марта 2020, 15:52