Собираю карту сайта для форума и задумался, как лучше организовать всё, чтобы поисковики нормально индексировали новые темы и посты, но при этом не перегружать карту всякими дублями и страницами с низкой ценностью. У меня например большой форум на phpBB, и куча страниц с пагинацией, профилями и подписками — всё это ли в sitemap должно быть? И если да, то как это лучше фильтровать?

Проверял через Google Search Console — иногда там видно, что некоторые URL с пагинацией просто игнорируются поисковиком или вызывают ошибки. Пытался в robots.txt закрывать ненужные разделы и добавлять фильтры для sitemap, но всё равно не уверен, что оптимально.