Я тоже думал сначала брать побольше модель, но быстро понял, что для простого юза норм 7B — и ресурсы не жрут, и работает быстро. Пока просто поигрался с ней, не заморачиваясь с оптимизациями. Главное, чтоб железо тянуло, а дальше уже можно копать глубже.