Пробовал поставить локальную нейросеть для работы, чтобы не зависеть от интернета и не отдавать запросы в облако. С одной стороны, удобно — данные остаются при тебе, можно экспериментировать с разными параметрами и кастомом, а ещё это более приватно. Но с другой — ресурсозатратно, нужна мощная железка, и иногда качество ответов заметно уступает ChatGPT.

Ещё на практике заметил, что локалки часто сложнее “дружат” с контекстом, не всегда выдают связный диалог, особенно если модель не прокачена на актуальном наборе данных. ChatGPT с этим справляется лучше за счёт регулярного обновления и масштабов обучения.

Если выбираешь локалку, советую для начала протестить варианты на своём железе (например, LLaMA или Alpaca), посмотреть, насколько быстро и адекватно отвечает, а главное — насколько хватает ресурсов. Иногда проще юзать гибрид: для публичных задач — ChatGPT, для приватных — локалку.

Кто на чем катит локалку? Какие подводные камни и неожиданные плюхи встречались у вас?