Как правильно готовить LLM API в продакшене? Делимся костылями и лучшими практиками
 

Привет, Dev! Сейчас каждый второй проект пытается прикрутить ChatGPT или Клод под капот для автоматизации рутины. Но в реальности все быстро упирается в конский ценник за токены, долгий респонс тайм и жесткие лимиты по API. Как вы решаете проблему контекстного окна, когда нужно скормить нейросети большой массив локальных данных? Юзаете RAG (векторные базы типа Chroma/Pinecone) или тупо файнтьюните опенсорсные модельки вроде Llama под свои задачи? Поделитесь своими архитектурными паттернами и костылями. Интересует именно практический опыт: как минимизировать галлюцинации ИИ и не слить весь бюджет на API-запросы за пару дней.