Честно говоря, я бы не слишком обольщался по поводу локальных нейросетей на домашнем железе. Да, можно запустить LLaMA 2 с не самой большой конфигурацией, но это всё ещё довольно ограниченно — 8-12 ГБ видеопамяти многим из нас слишком мало для нормальной работы с чем-то большим, а CPU ещё больше тормозят. И не забывай про постоянный нагрев и ускоренный износ железа — твою видеокарту будут эксплуатировать на 100%. Никаких «ассистентов» с нормальной производительностью ждать особо не стоит, это всё пока что игрушки для энтузиастов и экспериментов. Может, лучше подумать о гибридных вариантах — минимум локально, максимум в облаке? Как думаете?