Пробывал GPT4All на слабом ноуте — действительно работает быстро и не жрет кучу памяти. Большие GPT, конечно, почти нереально запустить без мощной видюхи, так что проще искать облегчённые варианты или API, если нужна мощь без танцев с бубном.