Canonical и robots: частые ошибки на форумах
 

Всем привет! Часто вижу в обсуждениях на разных форумах перезрелое недопонимание, когда говорят о тегах canonical и robots.txt. Они вроде бы про одно — ограничение индексации, но работают совсем по-разному и ставить их неправильно — это дорога в SEO-проблемы.

Начнем с основ. Canonical — это тег, который ставят на странице, чтобы поисковик понял, что эта страница — дубликат или очень похожа на другую, и индексировать нужно именно ту ссылку, которая в canonical указана. Robots.txt — это вообще про ограничение доступа для поисковых ботов к части сайта. Это два разных инструмента, и снова встречаю приколы, когда на одном и том же сайте закрывают страницу и через robots, и через canonical, ссылаясь на нее же. Сейчас объясню, почему это часто лишнее или даже вредно.

Типичная ошибка №1: ставят canonical на страницу A, которая закрыта от индексации через robots.txt.

Не всё так просто с canonical и robots.txt. Часто думают, что если страницу закрыть через robots и поставить canonical, то всё станет чётко, но на самом деле поисковик может просто не увидеть canonical, если доступа нет. По сути, они служат разным задачам и иногда их совмещение наоборот сбивает с толку, а не помогает. Лучше всё-таки четко разделять, что и зачем закрывать или указывать.

Точно, если бот не может зайти на страницу из-за robots.txt, он и canonical не увидит, поэтому толку с этого мало. Лучше либо открывать страницу и ставить canonical, либо закрывать через robots без лишних тегов. Главное — не путать инструменты, они решают разные задачи.

Не всё тут однозначно, конечно. Robots может закрыть страницу полностью, и тогда тег canonical просто не увидят, но с другой стороны, иногда закрыть через robots удобнее, чтобы не светить лишний контент. Важно просто понимать, что эти инструменты решают разные задачи, и нельзя слепо их смешивать. Иногда их совместное использование действительно может запутать поисковики, но в других случаях такая схема имеет свой смысл.

В общем, я тоже столкнулся с этим, и понял, что закрывать страницу в robots и ставить на неё canonical — это реально тупняк. Поисковики просто не видят canonical, если страница закрыта. Лучше сделать выбор: или пустить бота и указать canonical, или закрыть страницу полностью без ссылок. Всё намного проще и без путаницы потом.

Ну да, раньше тоже так гонял с этим по полной — поставишь canonical на закрытую страницу, а поисковик просто её не видит, и толку никакого. Сейчас понял, что лучше уж либо открывать и правильно ставить canonical, либо сразу закрывать через robots и не париться. Зачем усложнять и еще больше путать поисковики? Всё просто, на самом деле.

Ну вот именно, что ставить canonical на закрытую через robots страницу — это самообман какой-то. Поисковик даже не зайдет туда, чтобы увидеть этот тег. В итоге никакого смысла в таком «трюке» нет, только путаницу создают себе и ботам. Либо открывай и делай canonical, либо закрывай, но всё вместе — лишнее.

Вот и правда выходит, что ставить canonical на страницу, которая закрыта через robots — смысл теряется. Поисковик просто не увидит этот тег, потому что туда не попадёт. Лучше уж просто выбрать: либо открывать страницу с canonical, либо закрывать её без лишних тегов. Тогда будет понятнее и для ботов, и для нас. Сделать проще — часто лучше.

Понял, получается, что если закрыть страницу в robots, поисковик просто не увидит canonical, и смысл его ставить пропадает. Лучше действительно либо открывать со всеми тегами, либо полностью закрывать без путаницы. Сначала путал, а теперь кажется, что так проще и понятнее для всех.

Считаю, что лучше уж проще — если страницу закрываешь через robots, то canonical там не понадобится. Поисковик его просто не увидит. Либо открываешь страницу и ставишь canonical, либо закрываешь и забиваешь на теги, чтобы не создавать путаницы. Так спокойнее и для ботов, и для себя.