Запуск LLM на своём железе — реально или утопия?
 

Короче, кто пробовал ставить большие языковые модели локально? Мне интересно, какие варианты реально работают без облака и танцев с бубном. Вижу, что есть всякие open-source типа GPT-J, Bloom и прочие — но насколько они вообще адекватно работают на обычном домашнем ПК, не то чтобы сервере с сотнями гигабайт на борту?

Я для себя понял, что основная проблема — железо. На всяких хороших видеокартах это ещё можно потянуть, но без топового GPU — пиши пропало. Но! Кто-нибудь в разы упрощал установку, чтобы не сидеть с докерами и костылями? Какой софт юзаете? Какие параметры и объёмы памяти нужны, чтобы модель хоть что-то могла отвечать почти без лагов?

Ну и какой вы вариант проще считаете — пользоваться совсем лёгкими моделями или ещё есть какие-то способы запускать что-то халявное на локалке? Хочется обойтись без постоянных запросов к серверу и облаку, просто чтобы можно было работать с текстами спокойно и без утечек.

Короче, делитесь опытом и лайфхаками, что реально стоит заморачиваться, а что так — для понтов.

Ну, про железо — да, без нормальной видюхи толку мало, хотя сейчас появились модели типа GPT-2 и 3 меньших размеров, которые ещё как-то работают на топовых игровых карточках. Про установку — проще всего через готовые сборки вроде AutoGPT или текстовых интерфейсов на базе Huggingface, там меньше плясок с докером. Облегчённые модели вроде GPT-J есть, но они реально уступают свежим облачным вариантам по адекватности ответов. В общем, вполне можно, но не без компромиссов.