Не уверен, что все так просто. Бывает, что и с корректным robots.txt и sitemap страницы не сразу индексируются. Иногда гугл тупит или есть какие-то скрытые баги CMS, которые не очевидны на первый взгляд. Так что не всегда достаточно просто подправить эти файлы и ждать.