Локальный запуск LLM — это, конечно, не айс с точки зрения простоты, но интересно, когда всё запилишь и работает без глюков. Вспоминаю, как раньше проёбывались с драйверами и памятью, сейчас хоть более-менее стабильно можно катать на пятнашке VRAM, особенно с квантованием — жестко экономит ресурс. Главное — терпение и немного ковыряния в конфигах, иначе будет счастье "GPU out of memory".