У меня тоже была такая штука — выяснил, что дело было в упавших воркерах, которые не поднимались автоматически. Перезапуск их решил проблему, плюс стоит проверить, не забиты ли очереди в брокере, там легко накопить старых задач, которые висят мертво. Иногда банально ресурсы на сервере заканчиваются и всё тормозит.