В общем, если сравнивать, то проще и дешевле взять модель поменьше с квантизацией – она займет меньше VRAM и RAM, да и запускается шустрее, но качество чуть пострадало. А если хочется по максимуму без тормозов, то нужна мощная видеокарта с 24+ ГБ VRAM и минимум 32 ГБ оперативки. Без нормальных оптимизаций большие модели на средних картах будут либо долго грузиться, либо постоянно виснуть. Тут приходится жертвовать либо качеством, либо железом.