Когда Google мимо страниц проходит — что с этим делать?
 

Бывает, загрузил сайт, контент свежий, а в поиске страниц нет и в помине. Обычно причины простые, но не всегда очевидные. Первое, что советую проверить — нет ли в robots.txt запрета для индексации или метатега noindex на страницах. Часто забывают, что CMS при обновлениях может подставлять такие вещи по умолчанию.

Дальше смотрю файл sitemap.xml — корректный ли, не содержит ли мусорные URL и выложен ли он в Google Search Console. Если там беда, поисковик просто не «узнает» новые страницы. В GSC еще полезно глянуть раздел "Покрытие" — там видны ошибки индексации и причины, почему страницы не попали.

Ещё момент с уникальностью контента. Если страница почти пустая или с дублирующимся текстом, Google может ее игнорить. Тут помогает добавление качественного материала и внутреннее перелинковывание.

Некоторые вообще забывают проверить скорость загрузки и адаптивность — если на странице долго грузится JS или картинок, бот может не успеть ее проиндексировать нормально.

Запрет на индексацию иногда сознательно ставят для определённых разделов. Вопрос — стоит ли ими пользоваться? Если не хочешь, чтобы лишнее подтягивалось в поиск, да, но если выкладываешь что-то для трафика — лучше снять запреты и дать Google шанс.

Пробовал кидать на новые страницы ссылочную массу с профильных сайтов — помогает, но осторожно. Иногда лучше просто подождать пару дней и дать Google «обработать» сайт, если там нет никаких запретов.

Кто как с этим борется? Были странные случаи, когда страницы начали индексироваться только после полной переустановки CMS, и, кажется, проблема была в каких-то глюках шаблона.

Раньше такого гемора с индексацией не было — поставил пару простых страниц, и гугл сам находил. Сейчас же надо и robots.txt, и sitemap по пять раз проверять, а иногда помогает только полная перезаливка сайта. Видимо, движки и алгоритмы забугорные сильно всё усложнили.

Согласен, сейчас всё стало сложнее, чем раньше. У меня тоже долго страницы не лезли в индекс, пока не убрал случайный noindex и не проверил sitemap. Вроде мелочи, а без них гугл как слепой ходит. Думаю, главное — терпение и чтобы сайт был норм по технике, тогда постепенно и всё покажется.