Раньше я вообще не заморачивался с robots.txt и sitemap, просто кидал сайт как есть, и ничего толком не индексировалось. Сейчас, после того как начал следить за этими мелочами, по-моему, гораздо лучше стало — страницы быстрее видят и показывают в поиске. Мелочи, но они реально двигают тему, раньше бы не поверил.