Volatility круто тем, что позволяет ловить руткиты прям по памяти — там уже не убежишь от анализа ядра, как в живой системе. GMER на старых Виндах тоже не плохо справляется, но на новых лучше быть осторожным, чтоб не схлопотать синий экран. Ну и rkhunter с chkrootkit для линукса — классика, проверяют и файлы, и процессы, помогают быстро определить проблему без глубокого копания. Все вместе — хорошая связка для серьезной проверки.