AI для слабых машин — что реально работает?
 

Кто тестил разные модели на слабом железе? Сам столкнулся с проблемой, что многие популярные AI просто не заводятся или работают жутко медленно. Например, ChatGPT через API тяжелый и зависает на старом CPU. Смотрел в сторону легких локальных моделей — вроде GPT4All, Alpaca или Vicuna, которые можно запустить с небольшой видеокартой или даже на CPU с минимальной оптимизацией.

Вроде бы легкие модели и заявляют, что идут на слабом железе, но на деле всё равно либо жрут ресурсы, либо тормозят не по-детски. GPT4All и похоже работают лучше, но опять же — чтобы реально комфортно, нужен совсем не древний CPU и хотя бы мало-мальский видеочип. На чистом старом железе всё это часто пшик. В общем, не стоит иллюзий сильно — слишком лёгких и быстроходных вариантов пока мало.