Если трафик небольшой и атаки не частые — можно сначала потыркаться с iptables и fail2ban, но быстро упираешься в их ограниченность по анализу. Платные решения сразу дают больше возможностей и экономят кучу времени, особенно когда начинаешь получать нормальные ддосы, от которых без автоматизации сложно отбиться. Самоделки — это больше учеба, а для реальной защиты всё же лучше брать что-то с нормальной аналитикой.