Честно, тупо запустить и забыть не получится — особенно на железе среднего уровня. Легкие модели и квантование реально помогают хоть как-то вытянуть скорости, но это всегда компромисс, никакого идеала не жди. Обновления — тоже не сахар, иногда грузятся будто в 2000-м, если интернет дрянной. В итоге локально — это про эксперименты и приватность, а не про комфорт или скорость работы под сотню запросов.