Локальные нейросети на слабом пк — что реально потащит?
 

Кто уже пробовал запускать что-то полезное из LLM на домашнем компе с 8–16 ГБ оперативки и не самым свежим процом? Я понимаю, что большие модели типа GPT-4 или даже GPT-3 без нормального железа не поднимешь, но интересно, что можно реально запустить и получить хоть какие-то адекватные ответы без облака.

Ну, с таким железом GPT-3 и 4 точно не попытаешь, это ж космос. Но вот маленькие модели типа alpaca, llama в облегченном варианте — самое то. Не супербыстро, но вменяемо. Для простых задач и поиграться годится, особенно если терпеть подтормаживания. Раньше вообще такого на домашнем компе и не мечтали, так что можно уже считать прогрессом.

Я на старом пк пробовал запускать tiny llama — ну, не ракета, но вполне себе дружит с 8 ГБ и не вырубает систему. Понятно, что это не GPT-4, но иногда баланс между железом и мозгом всё ещё спасает ситуацию. Раньше такое и в страшном сне не снилось.