Если изначально нет мощного GPU и много памяти, то попытки запустить большую LLM локально — скорее головная боль. GPT4All и llama.cpp действительно оптимизированы под менее мощные машины, но с качеством всё ровно не идеал, это сильно упрощённые версии. Лично я проще беру более лёгкие модели или совсем мини, чтобы не убиваться с тормозами и памятью. Облако остаётся удобнее, если нужна нормальная производительность.