Как реально ускорить индексирование на форумах — есть ли смысл?
Я тут покопался, как новые темы и посты быстрее в поиске появляются, потому что у меня заметно долго форумные записи индексируются. Вроде бы стандартный вариант - просто ждать, пока бот сам сканер подойдёт. Но у меня сложилось впечатление, что можно немного ускорить, если нормально сделать карту сайта и прописать в robots.txt, чтобы не тормозить ботов.
Пару раз пробовал сбрасывать sitemap после новых постов и через пару часов смотреть, сработало или нет. Иногда реально даёт эффект - страницы быстрее появляются, чем если совсем забить. Ещё слышал про ping для поисковиков, мол, сигнал послать о новинках. Но у меня с Яндексом это работает не всегда, а у Гугла вроде получше.
Ещё момент очень важный - блокировка в robots.txt или noindex на каких-то ветках форума реально снижает скорость попадания в индекс, про это часто забывают. Лучше проверить, чтобы ничего лишнего не закрывать. Забавно, что на форумах с большой структурой поисковики иногда просто "застревают", и автоматическая переиндексация особо не помогает.
Не знаю, насколько эти заморочки влияют на позиции, но если про скорость появления свежего контента - точно есть толк, особенно если ещё внешние ссылки качают. У вас пробовали вручную поисковики подгонять? Есть смысл?