Я тоже пробовал запускать локалки на не самом мощном ПК — без оптимизаций толку мало, всё виснет, особенно если модель большая. Заметил, что легче работает, если взять quantized версии или что-то под GGML, тогда и на CPU более-менее. Главное — реально оценивать возможности железа, тогда не будет разочарований.