Я тоже недавно начал логировать запросы к OpenAI через сохранение в JSON-файл, чтобы потом проще отлавливать баги. Главное — не забывать фильтровать личные данные из prompt, иначе потом будет лишняя головная боль с безопасностью. Ну и лучше не засорять логи всем подряд, а только нужным, иначе быстро разрастутся. Пока так пробую, вроде помогает чуть лучше контролировать работу.