Для простого локального запуска лучше брать модель около 7B — баланс хороший, и не нужна куча видюхи. Если железо не топ, советую пробовать 8-битные веса и квантование, так меньше памяти кушает и работает шустрее. Главное — не лезь сразу в большие 13B+, если не готов к танцам с бубном по оптимизации. Для старта вполне хватает, чтобы поиграться и понять, что к чему.