Есть куча движков и моделей, которые сейчас можно поставить на обычный домашний комп, хоть и с разной степенью геморроя. Например, Llama (разные версии) — народ часто юзает, потому что она не сильно требовательна, а качество при классических задачах норм. Отлично идёт вместе с GUI типа Alpaca или просто через консоль. Если есть видеокарта от Nvidia с нормальным объёмом памяти, то с запуском легче, иначе можно тормозить.

Ещё популярны Stable Diffusion и её форки, но это про генерацию картинок, а не текст. Для текста можно глянуть GPT4All — простая и с приличным результатом для локального использования. Однако она всё равно уступает облачным версиям типа OpenAI по уровню понимания и богатству контекста. Модели вроде Vicuna тоже хороши — их часто берут для обучаемых решений.

Чтобы проверить, насколько нейросеть подходит тебе — оцени, во-первых, нагрузку на железо (особенно VRAM), во-вторых, качество генерации и скорость отклика. Иногда приходится идти на компромисс, выбирая более лёгкую модель в ущерб размаху тем. И не забывай про удобные обвязки и интерфейсы — бывает, модель хороша, но запускать и общаться с ней неудобно.

Кто что ещё использует локально и почему? Поделитесь опытом, особенно если юзаете что-то необычное с минимумом телеметрии.