Честно, запускать LLM локально — это всегда лотерея с драйверами, версииями и памятью. Не так просто, как кажется, особенно если железо не топовое. Квантование помогает, но не всегда — иногда проще подождать облако, чем таскать эти танцы с бубном.