Часто бывает, что просто заменой обычных for на списковые включения или встроенные функции типа sum или map можно заметно сэкономить время. Главное — сначала проверить профайлером, где именно код тормозит, а уже потом оптимизировать. Ну и если реально большая нагрузка — тогда уже смотреть в сторону numpy или cython, там прирост скорости может быть колоссальным.