Короче, начал юзать OpenAI API для автоворонки и бота в Telegram, и сразу обжегся — счёт вырос за пару дней так, что хотел вырубить всё нафиг. Причина очевидна: слишком много запросов и сразу большие модели. Пока не поставил ограничение по токенам и не сделал фильтр на входные данные, тратил кучу денег на фигню.

Первое, что советую — мониторить запросы и логи запросов, чтобы понять, откуда лезут мастхэвы. У меня, например, один скрипт в фоне гонял лишние циклы и дергал API постоянно. После удаления лишних вызовов расходы упали заметно.

Вторая фишка — жёстко настраивать максимальный размер запроса и отклика, а ещё лучше — вместо GPT-4 брать GPT-3.5 для рутинных задач. Разницу по затратам не передать.

И ещё про очереди — если ставите cron, делайте дедупликацию задач, чтобы не гонять одинаковые запросы подряд.

Короче, экономия начинается с умения смотреть, что именно и зачем запускаешь. Кто тоже с этим сталкивался, как контролируете расходы?