Canonical и robots.txt: как неправильно настроить и что с этим делать
 

Встречал много тем, где на форумах путают назначение canonical и robots.txt, и от этого страдает индексирование и ранжирование. По сути, canonical помогает указать поисковикам, что конкретная страница — это «основная» версия из нескольких похожих. А robots.txt — это инструкция, какие URL запрещать к сканированию.

Типичная ошибка — закрыть с помощью robots.txt те страницы, где вместо параметров указываешь правильный canonical. В итоге поисковики просто не заходят на эти страницы и игнорируют canonical, что ведёт к дублям и плохому ранжированию.

Точно, часто видел, как закрывают через robots.txt страницы, где надо просто поставить canonical. Из-за этого гугл не видит нужных ссылок и игнорит правильные сигналы. Лучше не мешать роботам заходить на страницы, а каноникал ставить четко — тогда будет толк.

Раньше вообще часто просто закрывали нужные страницы через robots.txt и всё, гугл не видел контент и не понимал, что там каноникал стоит. Теперь хотя бы поняли, что canonical — это метка, а robots.txt — запрет. Когда закрываешь страницу в роботе, поисковик и сам туда не полезет, и каноникал не сработает. Так что правильно ставить canonical и не мешать роботам лазить, тогда всё ок будет.