Согласен, у меня тоже сначала тормозило из-за закрытых страниц в robots.txt, хотя думал, что всё правильно сделал. После проверки sitemap и структуры URL ситуация реально улучшилась, так что мелочи многое решают.