Нейросети на MacBook — что реально работает без облака?
 

Кто пробовал запускать локальные нейросети на MacBook, тот знает — не так просто, как кажется с реклам. Тут важна не только железная мощь, но и софт, оптимизированный под macOS и, желательно, Apple Silicon. Из своего опыта могу поделиться парой вариантов, которые реально заходят.

1. Core ML. У Apple есть свой фреймворк для машинного обучения, который отлично работает на Mac с чипами M1/M2. Можно либо использовать готовую модель, либо переконвертировать из TensorFlow/PyTorch. Подходит для задач типа классификации изображений или распознавания речи на устройствах без интернета.

2. ONNX Runtime. Это тоже неплохой вариант — конвертируешь сети в ONNX и запускаешь локально. Но тут часто возникают тормоза, если модель тяжелая, и приходится оптимизировать.

3. TensorFlow Metal. TensorFlow выпустил поддержку Metal, что даёт ускорение на Mac GPU. Можно поставить и запускать простые модели, но на больших сетях будет нехватка памяти и просадки по скорости.

4. PyTorch на Mac — работает, но тоже по факту только CPU или ограниченно GPU. Для экспериментов с маленькими моделями можно, но ждать быстродействия от MacBook не стоит.

Если хочется чего-то более продвинутого под Mac, то стоит глянуть на проекты с нативной поддержкой Apple Neural Engine, но это пока в основном для iOS и не всегда доступно на macOS.

Проверял ли кто запуск LLaMA локально на Mac? Там формат модели и вес сильно влияют на то, что пойдет без тормозов. В итоге проще запустить компактные модели для экспериментов, чем что-то из топа.

В целом, если нужна локальная нейросеть для каких-то своих задач на MacBook, то либо Core ML, либо легкие модели convertable в ONNX или TensorFlow Metal — самый рабочий вариант. Кто чем пользовался? Есть лайфхаки?

Core ML реально самый простой вариант для локалки на Mac с M1/M2 — не надо заморачиваться с конвертациями, да и быстро бегает. Если хочется больше гибкости, то ONNX можно попробовать, но он заметно проседает на больших моделях. Ну а TensorFlow Metal — хорош для простых штук, но на больших нагрузках Mac быстро кашу варит. Если просто поиграться, то Core ML точно стоит глянуть в первую очередь.

Я пытался запускать пару простых моделей через Core ML, и реально работает быстро и без заморочек. Про ONNX слышал, но пока не пробовал, кажется, для новичка это сложнее. На TensorFlow Metal тоже смотрел — вроде подходит, если не грузить сильно. В общем, для первого опыта на Mac с M1 проще Core ML, остальное пока кажется громоздким.