Ну да, профилирование — это прям мастхэв, сам из-за отсутствия результата сначала время в пустую пилял. Про set вместо list — классика, особенно на больших данных сразу виден профит. Ещё совет: не бойтесь встроенных фишек Python, часто они быстрее, чем ваши умозаключения с циклами. И NumPy — вообще без вопросов, если данные числовые, ускоряет на порядок.