GPT-4 на слабом ноуте — как хотя бы чуть-чуть снизить нагрузку?
bobokhon1998
Сразу скажу, с таким железом 8 ГБ и i5 4-го - это уже почти беда для GPT-4-подобных моделей. Всякие LM Studio, Ollama и им подобные съедают всю память и процессор, потому что под капотом реально тяжёлый inference, особенно если без оптимизаций. Лимиты на RAM обычно только краш вызывают - модель или не запустится, или упадёт через пару минут, как у тебя. Swap под виндой в таких задачах только тормозит, там чтение-запись жёстко замедляет работу, а памяти всё равно не добавляет.
Если хочешь, чтобы хоть как-то работало, то без перехода на что-то с минимум 16+ гигабайтами и нормальным CPU или хотя бы RTX с приличным VRAM - всё равно будут лаги и жёсткий своп. Можно попробовать более облегчённые версии моделей или quantization, но в LM Studio, например, это не всегда просто и не всегда помогает.
В итоге проще либо обновляться, либо запускать такие модели на сервере/облаке, где есть выделенная 16+ RAM и нормальный GPU. На ноуте с 8 ГБ ждать нормальной работы смысла почти нет, разве что очень сильно резать модель, но тогда это уже сильно не GPT-4. Просто железо пока слишком слабое для таких задач.