Точно, лишние фильтры — это бич, я тоже сначала напихал слишком много правил, потом убрал ненужные и сайтик стал побыстрее. Еще важно, чтобы кеш реально цеплялся и не сбрасывался по пустякам, а то оборвалась защита и всё виснет. Мониторинг реально спасает, без него фиг поймешь, где именно тормоза. Балансировщики — да, настраивать нужно по уму, иначе их лишняя нагрузка тоже сильно гасит скорость.