ANTICHAT Forum
HOME FORUMS MEMBERS RECENT POSTS LOG IN  
Баннер 1   Баннер 2
НОВЫЕ ТОРГОВАЯ НОВОСТИ
loading...
Скрыть
Вернуться   ANTICHAT > ТЕХНОЛОГИИ И AI > AI автоматизация
   
Ответ
 
Опции темы Поиск в этой теме Опции просмотра

Как у тебя с нагрузкой на API при массовых рассылках через своего AI-бота?
  #1  
Старый 13.11.2026, 20:50
T-34dictator
Новичок
Регистрация: 12.12.2012
Сообщений: 27
С нами: 7061366

Репутация: 0
По умолчанию Как у тебя с нагрузкой на API при массовых рассылках через своего AI-бота?

Заголовок:
Как у тебя с нагрузкой на API при массовых рассылках через своего AI-бота?

Текст:
Запилил телеграм-бота с AI для рассылки, но OpenAI API после пары сотен запросов начинает тормозить, лаги и таймауты вылезают. Я не ас в нагрузках, но пробовал разбивать рассылку на пачки по 20-30 сообщений, вставлять паузы в пару секунд - немного помогает, но скорость сильно падает, что плохо, если надо быстро хотя бы тысячу адресатов обработать. Параллельные async-запросы тоже тестил, но API явно режет по лимитам частоты или нагрузке, в итоге то же самое - ошибки и сбои.

Для большей стабильности пробовал внедрять очередь через Redis и заставлять бота запускать по 5-10 параллельных воркеров, чтобы как бы распределить нагрузку. Сначала вроде при таком подходе время на рассылку увеличилось, но снизилось количество таймаутов и ошибок. Только всё равно после 500-600 сообщений начинается хреновенько с соединением - думаю, что либо у меня неправильная архитектура, либо у API есть жесткие ограничения, которые без платного тарифа не обойти. Еще пытался использовать библиотеку для rate limiting, чтобы не спамить API слишком часто, но тогда процесс стал совсем уж медленным.

То, что скорее всего поможет, - это либо подключать несколько ключей с разных аккаунтов и распределять запросы, либо вообще ставить промежуточный кэш, чтобы повторно одинаковые вопросы не гонять. Но пока не уверен, стоит ли так заморачиваться - может, у кого есть свой опыт, как именно выруливать из таких узких мест, не теряя скорость и не убивая API.
 
Ответить с цитированием
Ответ



Предыдущая тема Следующая тема

Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 


Быстрый переход