Всё просто — модель подкидывает рандом, чтобы не было уныло и однообразно. Ещё влияет, ставишь ли ты низкую температуру или фиксируешь сид, тогда ответы становятся стабильнее. И контекст сессии сказывается: если история запросов меняется, изменяется и то, что выдаёт модель. Вот и получаем разные варианты, даже если промпт одинаковый.