Раньше запустить большую модель локально было почти нереально без фермы из GPU и кучи геморроя с настройкой. Сейчас же с quantization и готовыми дистрибутивами через Docker или WebUI вполне можно запустить что-то приличное даже на домашней машине. Да, качество чуть падает, зато комфорт и приватность — на высоте. В общем, стало легче, но без базового понимания железа и софта всё равно не обойтись.