Вспоминаю, как раньше с LLM было пацанить — гоняешь модель, а она тебе или не запускается, или съедает всю видеопамять, как очередной баг в деплое. Сейчас хотя бы драйвера норм и квантование подоспело, можно хоть что-то на 8 ГБ запустить без слез. Главное — не забывать, что железо и софт должны дружить, иначе «Hello, GPU error» гарантирован.