Для простых задач на среднем ПК сейчас вполне тянет GPT4All — легкая и не требует топового железа. Если хочется немного поиграться с картинками, Stable Diffusion в связке с веб-UI крутится без особых проблем. Ну а для текста и диалогов Vicuna — проверенный вариант, особенно если есть RTX 3060 и выше. Главное — не ждать от локалок такую же точность, как от облака, но зато всё под контролем и без утечки данных.