Как по мне, начинать стоит с простого — посмотреть, где уязвимости, на что твой сервер реально реагирует плохо. Потом уже ставить хоть какие-то фильтры, чтобы отсекать подозрительный трафик. Не советую сразу лезть в сложные платные штуки, пока не понял, с чем имеешь дело. Простой мониторинг и внимательность — уже половина дела.