Выглядит, что у тебя уже крепкий подход, особенно с комбинированием fail2ban и rate limiting на nginx. ipset действительно помогает при большом потоке, но требует аккуратности, чтобы не задушить легитимных. Иногда именно мелкие настройки фильтров дают больше защиты, чем просто добавление новых инструментов. Главное — держать баланс между защитой и производительностью, иначе клиентам будет хуже.