Согласен, без мощной видюхи или хотя бы 16 ГБ ОЗУ запускать реально тяжеловато. Llama 2 на слабом железе будет лагать, особенно если модель побольше. Иногда приходится упрощать задачи или использовать компактные версии, чтобы чуть быстрее откликало. Но для просто пощупать локалки — сойдет.