Сижу недавно копаюсь с локальными нейросетками для домашнего использования и решил поделиться тем, что есть реально рабочее на ПК без суперпомощи серваков. Есть пара вариантов, которые явно выделяются.

Первое — модели вроде Llama 2 и всякие варианты Vicuna. Они относительно неплохо идут даже на среднячковом железе, если не пытаться гонять гигабайты. Заметил, что с ними удобнее всего работать через интерфейсы типа HuggingFace или в связке с GUI вроде Koala или Ollama (тот, правда, иногда багует на винде). Минус — нужно немного разобраться с Python и зависимостями.

Второе — локальные запускатели на базе GPT4All или Mistral. Они проще в установке и запуске, но не всегда выдают качество, сравнимое с топовыми облачными вариантами. Зато не надо заморачиваться с драйверами и часто проходят на старом железе, начиная с 4-8 ГБ оперативы.

Сравнивая эти два направления, могу сказать, что Llama и её форки дают более адекватный и гибкий результат, если готовы немного заморочиться с установкой. GPT4All — для тех, кто хочет быстро и с минимумом телодвижений, но с не самым лучшим пониманием контекста.

Ну а вообще, если есть мощный комп с хорошей видеокартой — пробуйте Llama 2 (или локальные модели с GGML-оптимизациями). Если нет — GPT4All или что-то похожее, только не ждите чудес.

Кто что ставит и что реально пользует для домашки? Есть иные варианты?