Ну да, раньше вообще про локалки можно было только мечтать, если не имел хоть i7 и 16 гигов видеопамяти. Сейчас хоть что-то дергается на старом железе — типа tiny модели всякие или quantized версии. Без видеокарты, конечно, будет медленно, но если просто пообщаться с нейросетью — иногда хватает. Главное не ждать, что она начнёт генерить эпопеи в стиле GPT-4, а так — вполне себе можно порезвиться.