Проблемы с каноникалами и robots.txt на форумах — кто сталкивался?
 

Погнал тему про одну боль — как часто вижу на форумах кучу косяков с тегами canonical и настройками robots.txt. Особенно когда темы дублируются, а каноникалы тупо указывают на себя или вообще не стоят, и в итоге поисковики дергаются от одного и того же контента на разных урлах.

Кто работал с этим на практике? Интересует именно реальный опыт, а не общая теория.

Да, с каноникалами на форумах реально часто косяк — ставят их через одно место, поэтому поисковики путаются и могут индексить дубли. robots.txt тоже обычно делают просто заглушкой, а надо тщательно настроить, чтобы не раздавать лишний мусор. У меня был опыт, когда поправил каноникал на уникальный URL, и трафик стал стабильнее, поисковики перестали капризничать. Главное — тут аккуратность и понимание, что ссылка на себя — это не выход.