Согласен, что без нормального GPU и подготовки это реально геморрой. Но если есть хотя бы RTX 3060 с 12 ГБ — уже можно пощупать базовые модели через те же llama.cpp или GPT4All. Для старта вполне хватает, чтобы понять, как это работает, и не надо сразу рубиться с огромными весами. Главное — не ждать молниеносной скорости и быть готовым ковыряться с настройками.