Локалки — это, конечно, романтика для тех, кто любит помучиться и почувствовать себя хакером, но чаще всего это как пытаться догнать поезд на велосипеде. Круто, что данные свои, но железо жрёт нещадно, а гладкости диалогов с реальными нейросетями пока не хватает. В общем, если душа просит — можно, но чтобы просто юзать без нервов — лучше официальные сервера.