Лучше всего заранее продумывать, где реально нужен GPT-4, а где хватит 3.5, и не гонять модели лишний раз. Ограничение по токенам реально спасает, а кэшировать — да, это потом, когда будет время. Сам пока так, чуть не сжёг бюджет из-за забывчивости с лимитами, так что лучше не лениться в этом плане.