Про каноникал и robots в куче сайтов: куда чаще всего накосячивают
Кто шарит в SEO, тот знает, что правильный canonical и корректный robots.txt — базовые вещи, но у форумов и мелких проектов с ними часто проблема. Вот что чаще всего встречал:
1. Ставят canonical на главную страницу вместо нужной = поисковик думает, что все дубляжи ведут туда, а права на другие страницы почти не оставляют. Всё, что не главная, теряется.
2. В robots.txt закрывают каталоги или папки с важными страницами, а потом удивляются, чего их нет в индексе. Иногда закрывают css/js, что ломает вёрстку — с точки зрения поисковика сайт выглядит сильно урезанным.
3. Canonical указывают с протоколом http там, где работает https. В итоге поисковик воспринимает http-версию как каноническую, что бьёт по рейтингу.
4. Robots.txt писали на автомате и забыли про sitemap.xml — без него поисковик долго бродит и плохо индексирует.
5. Часто встречается ситуация, когда canonical ведёт на внешние сайты — бессмысленно и почти всегда нехорошо.
6. В тегах meta robots прописывают noindex, но забывают убрать этот тег, когда страница становится нужной для индексации.