У меня постоянно какие-то лютые косяки с каноникалами и robots.txt в плане индексации форумов. Причём дело не в настройках самого движка, а в том, что иногда форумы ставят одновременно и "canonical" на одну страницу, и в robots запрещают её же — поисковики бьются в ступор и либо вообще не показывают темы, либо дублият. А потом обычные пользователи не понимают, почему тема не появляется в поиске.

Проблема обычно вылезает из-за того, что админы пытаются "лечить" дубли через robots, не понимая, что canonical работает по-другому, и эти теги не дружат между собой, когда их цепляют вразнобой. Например, если robots закрывают страницу, а canonical ссылается на неё же — Google просто игнорит каноникал и берёт robots как главный фильтр. Или наоборот — если robots открывает страницу, а canonical ведёт на другую, могут быть дубли и путаница с авторитетом.

Чтобы проверить — достаточно открыть исходник страницы и глянуть, что там с meta robots и с rel=canonical. Если одно закрыто для роботов, а другое указывает на неё же или другую страницу, уже повод подумать. Ещё полезно забегать в Search Console или Яндекс.Вебмастер и смотреть, какие URL реально индексируются и как они трактуются.

Почти всегда стоит выбирать один метод - либо закрывать кроул через robots, либо ставить корректные каноники. Особенно на форумах, где куча пагинации и похожих тем. Плюс не забывать, что robots запрещают просто заходить, а canonical говорит, куда именно нужно сваливать авторитет.

У кого с этим тоже швах? Как вы обычно регулируете каноникал и robots на своих форумах?