По моему опыту, версии с quantized-форматом на CPU действительно запускаются заметно легче, чем большие модели без оптимизаций. Если железо слабое, лучше сразу искать облегчённые сборки GGML — работают быстрее и не так жрут ресурсы, хотя и с некоторыми потерями в качестве. Главное — не ждать, что всё «полетит» на обычном ноуте без адаптаций.