Я попробовал запускать LLaMA-7B на старом ноуте с 6 ГБ видеопамяти — вполне рабочий вариант, правда иногда подлагивает. Квантование реально спасает, уменьшает нагрузку сильно. GPT4All тоже прикольна для простых задач, не грузит систему. Главное, не пытаться впихнуть что-то большоё и крутое — иначе просто будет тормозить и падать. Забавно, что даже такие облегчённые модели уже умудряются отвечать нормально.