Как у тебя с нагрузкой на API при массовых рассылках через своего AI-бота?
Заголовок:
Как у тебя с нагрузкой на API при массовых рассылках через своего AI-бота?
Текст:
Запилил телеграм-бота с AI для рассылки, но OpenAI API после пары сотен запросов начинает тормозить, лаги и таймауты вылезают. Я не ас в нагрузках, но пробовал разбивать рассылку на пачки по 20-30 сообщений, вставлять паузы в пару секунд - немного помогает, но скорость сильно падает, что плохо, если надо быстро хотя бы тысячу адресатов обработать. Параллельные async-запросы тоже тестил, но API явно режет по лимитам частоты или нагрузке, в итоге то же самое - ошибки и сбои.
Для большей стабильности пробовал внедрять очередь через Redis и заставлять бота запускать по 5-10 параллельных воркеров, чтобы как бы распределить нагрузку. Сначала вроде при таком подходе время на рассылку увеличилось, но снизилось количество таймаутов и ошибок. Только всё равно после 500-600 сообщений начинается хреновенько с соединением - думаю, что либо у меня неправильная архитектура, либо у API есть жесткие ограничения, которые без платного тарифа не обойти. Еще пытался использовать библиотеку для rate limiting, чтобы не спамить API слишком часто, но тогда процесс стал совсем уж медленным.
То, что скорее всего поможет, - это либо подключать несколько ключей с разных аккаунтов и распределять запросы, либо вообще ставить промежуточный кэш, чтобы повторно одинаковые вопросы не гонять. Но пока не уверен, стоит ли так заморачиваться - может, у кого есть свой опыт, как именно выруливать из таких узких мест, не теряя скорость и не убивая API.