Если у вас не зверский комп, но хочется использовать AI-модели — сталкивался с тем, что многие из них просто не запустятся или жрут всю память под корень. Из опыта: лучше всего при слабом железе идут небольшие локальные LLM вроде GPT4All, MPT или Alpaca — они легче, можно поковырять под себя и не требуют десятков гигов ОЗУ. Совсем уж простые варианты типа MiniGPT или QLoRA-бленды тоже пробовал — запускаются, но функционал проще и точность страдает.

Проверять, сколько оперативки и какой объём видеопамяти нужен, лучше всего сразу в репозиториях или доках. Часто можно найти инструкции по оптимизации под CPU или по снижению битности (8bit, 4bit), что сильно спасает.

Если нужна подписка — на OpenAI например, то там вопросов с железом вообще нет и можно использовать облако, но с локальными моделями нужно балансить — легче работают модели с меньшим количеством параметров, и желательно ориентироваться на те, которые специально оптимизировали под слабые устройства. Ну и ещё момент — скорость отклика напрямую связана с числом параметров и фронтом (CPU vs GPU).

А у кого какой опыт с AI на слабеньких компах? Кто что посоветует?