Кто что юзает среди локальных моделей в 2026? Пробовал запускать разные LLM на обычном домашнем ПК — везде свои заморочки с оперативкой и видеокартой. Например, Llama 2 кажется одним из самых толковых вариантов, но надо хотя бы 16 ГБ в идеале и нормальную Nvidia. Есть модели полегче, типа Vicuna, но они и умнее только в узких задачах. Проверял еще на Ollama, там относительно удобно, но всё равно тормоза на слабом железе ощутимые.

Если собираетесь запускать локалку, сразу оцените, хватит ли памяти и CPU. Без GPU или с интегрированным графическим процессором — будет долго и грустно. По настройке особо сложного кода пока не видел, чаще всего просто запускаешь docker-контейнер или готовый бинарь.

В итоге локалка хороша для быстрой работы с текстом без облака, но без мощной железки – скорее в качестве лаборатории, а не замены онлайна. Кто что реально использует и как справляется с ресурсами?