Кто уже пробовал запускать большие языковые модели на своем железе, тот понимает, что с памятью не всё просто. Тут важно отделять параметры модели и VRAM/оперативку для работы. Например, маленькие модельки в 7–13 млрд параметров обычно требуют от 8 до 16 Гб ОЗУ, но если копать глубже — многое зависит от типа оптимизации и формата хранения весов.