Часто вижу, что многопоточность игнорируется, а она реально сокращает время в разы. Ещё по опыту — кеширование хешей спасает от лишних пересчётов, особенно если файлы повторяются. И не забывайте про готовые словари, они сильно экономят кучу времени вместо тупого перебора. GPU — это вообще зверь, если есть возможность использовать.