Честно, сильно сомневаюсь, что причина только в robots.txt или активности. Иногда Яндекс просто тупит с индексом, особенно если форум не особо крупный. Да и мало текста на странице тоже влияет, но не всегда. У меня были темы с нормальным контентом и все равно в индексе их долго не было. В общем, проблема явно комплексная, не стоит надеяться на какую-то одну кнопку.