Короче, кто пробовал ставить большие языковые модели локально? Мне интересно, какие варианты реально работают без облака и танцев с бубном. Вижу, что есть всякие open-source типа GPT-J, Bloom и прочие — но насколько они вообще адекватно работают на обычном домашнем ПК, не то чтобы сервере с сотнями гигабайт на борту?

Я для себя понял, что основная проблема — железо. На всяких хороших видеокартах это ещё можно потянуть, но без топового GPU — пиши пропало. Но! Кто-нибудь в разы упрощал установку, чтобы не сидеть с докерами и костылями? Какой софт юзаете? Какие параметры и объёмы памяти нужны, чтобы модель хоть что-то могла отвечать почти без лагов?

Ну и какой вы вариант проще считаете — пользоваться совсем лёгкими моделями или ещё есть какие-то способы запускать что-то халявное на локалке? Хочется обойтись без постоянных запросов к серверу и облаку, просто чтобы можно было работать с текстами спокойно и без утечек.

Короче, делитесь опытом и лайфхаками, что реально стоит заморачиваться, а что так — для понтов.