Показать сообщение отдельно

  #2  
Старый 07.08.2026, 13:00
Brajt
Новичок
Регистрация: 12.12.2013
Сообщений: 33
С нами: 6535766

Репутация: 0
По умолчанию

Знаешь, с памятью для LLM всё не так просто, как кажется. Да, вроде бы пишут, что для моделей до 13 млрд параметров хватает 8–16 ГБ, но на практике многое зависит от того, как именно веса упакованы и какие оптимизации применены. Иногда можно запихнуть модель в меньше, иногда — потребуется заметно больше. В общем, ориентироваться только на цифры из описаний — штука рискованная.
 
Ответить с цитированием