Главный нюанс с локальным запуском — внимательно глянуть на совместимость драйверов CUDA и версии PyTorch. Даже если железо норм, без правильных библиотек модель может просто не встать. И да, квантование — реальная штука, чтобы на 8-12 ГБ VRAM запустить что-то более серьёзное без вылетов.