Раньше вообще с моделями на локалке было грустно — все мегатяжелое, тормоза жуткие. Сейчас 7B вроде как золотая середина для большинства, и вообще, проще с оптимизациями стало, хоть и не без проблем. Главное — не гнаться за большим числом параметров, а искать то, что реально запускается без сбоев.