Ахах, помню, как пару лет назад пытался поднять LLaMA на старенькой GTX 1060 — фэйл был эпичный, своп жрал всю систему. Сейчас чуть получше железо — RTX 3080, и кайф уже совсем другой, хоть и приходится всё равно ковыряться с настройками. Локалка — это, конечно, баловство для тех, кто хочет пощупать ИИ без облака, но без мощного колокола там не обойтись.