Кто что ставит из локальных моделей и почему?
 

Собираюсь поднять тему выбора моделей для локального запуска — чтобы было понятно, на что реально обратить внимание. У меня задача простая: чтобы модель работала без вечной зависимости от интернета и вменяемо отвечала. Начинаешь гуглить — куча вариантов, и все разные. Кто-то ставит Llama 2 — вроде бы классика, неплохо рулит на нормальном железе, можно и подстраивать. Другие хвалят Vicuna, типа она проще и обучена на более свежих данных. Есть ещё GPT4all — его удобнее запустить на слабом пк, но качество вопросов-подсказок хромает.

Обязательно смотрите на требования по железу — иногда модель весит пару гигабайт, но чтобы запустить, нужна и 6-8 гб оперативки минимум и хорошая видеокарта. Если железо слабое, можно попробовать tiny-версии моделей, но качество радует меньше. Кстати, ещё момент: некоторые модели лучше переводят и общаются на русском, другие — почти только на английском. Если нужна именно локальная русскоязычная поддержка, то тут может быть сложнее.

Собственно, у меня вопрос — как вы решаете, какую модель ставить? На что смотрите в первую очередь? Кто-то гонится за свежими версиями, кто-то просто хочет чтобы работало без багов. Поделитесь опытом, полезными ссылками и фишками, которые помогли вам не провести неделю на настройках.

Зачем заморачиваться с кучей моделей, если нормальный Llama 2 на нормальном железе уже почти всё умеет? Vicuna и GPT4all – это больше для слабых или любителей поковыряться, но часто страдают качеством. Короче, выбирай баланс между железом и ленивостью, а то можно всю неделю драйвера колхозить вместо нормальных ответов.