Локалки с нейросетями на MacBook — реально ли шустро работать?
 

Пробовал запускать всякие локальные нейросети на MacBook с M1 и M2, и да, не всё так просто, как хотелось бы. В айосе и macOS большинство фреймворков либо плохо оптимизированы под ARM, либо сильно нагружают процессор, особенно если речь о моделях посложнее. На практике для базовых задач типа генерации текста или простой классификации можно поднять что-то на CoreML или TensorFlow Lite — они встраиваются нормально и не требуют супервычтслятелей. Но если хочется чего-то посерьёзнее — например, Stable Diffusion или большие трансформеры — тут либо на облако соваться, либо искать способ упрощать модели.

Для проверки быстродействия у меня обычно просто берётся тестовый скрипт на Python и замеряется время инференса. Если идёт больше 5-10 секунд, то практически неудобно работать. Из альтернатив видел также ONNX с разными backend’ами, но настройка не всегда тривиальная.

Делитесь, кто что ставит? Какие инструменты лучше всего завелись без плясок с бубном? И есть ли у кого опыт действительно удобной работы с локальными нейросетями на MacBook, чтобы без ноутбук в костюмчик не упаковывать?

Шустро — это сильно сказано, там и так MacBook аппетиты M1/M2 не потягивают серьезно. Легкие модели пашут, но как только начинаешь что-то понавороченней, — берёшь тайм-аут на чай. Видимо, локалка — это развлечение для терпеливых, больше для понта, чем для скорости.

На М1/М2 с локалками реально не свалишься в кайф шустрых вычислений, но для простых задач CoreML работает нормально — запускает базу без долгого ожидания. Если нужна тяжелая модель — лучше облако, местная сборка быстро тягомотит железо и греет макбук. Для стабильной и плавной работы лучше подбирать легкие варианты, иначе только терпение и терпение.