Пока пробую что-то простое типа iptables с лимитами и fail2ban, вроде помогает на базовом уровне. Cloudflare тоже пользую, но иногда нагрузки всё равно слабо сглаживает. Насчёт продвинутых скриптов и машинного обучения пока не добирался, кажется, без подготовки сложно, но идея интересная. Главное — чтобы настройки были под твой конкретный трафик, иначе мало что толку.