Видел тут много разных вариантов, сам для простых задач запускал GPT4All — на среднем ПК вполне нормально работает, не требует заморочек с железом. Stable Diffusion тоже класс, если пару картинок сгенерить хочется, быстро и без проблем. Vicuna слышал, что хорошо, но нужен уже понадежнее комп. Вообще, для домашки с удобством — отличный вариант иметь локалку, особенно если не хочешь свои данные в облако сливать.