Локалки реально заходят, если не хочешь зависеть от инета и облаков. Главное — понимать, что железо надо прокачать, иначе тормоза обеспечены. Сам юзаю Llama 2 на середнячке с 12 ГБ VRAM — шустро, без заморочек. В плане софта LM Studio хорошо помогает, настройки простые, даже новичку зайдёт. Для тех, кто любит контроль и приватность — это прям мастхэв, хоть и с небольшим геморроем вначале.