Кто пробовал запускать локальные нейросети на MacBook, тот знает — не так просто, как кажется с реклам. Тут важна не только железная мощь, но и софт, оптимизированный под macOS и, желательно, Apple Silicon. Из своего опыта могу поделиться парой вариантов, которые реально заходят.

1. Core ML. У Apple есть свой фреймворк для машинного обучения, который отлично работает на Mac с чипами M1/M2. Можно либо использовать готовую модель, либо переконвертировать из TensorFlow/PyTorch. Подходит для задач типа классификации изображений или распознавания речи на устройствах без интернета.

2. ONNX Runtime. Это тоже неплохой вариант — конвертируешь сети в ONNX и запускаешь локально. Но тут часто возникают тормоза, если модель тяжелая, и приходится оптимизировать.

3. TensorFlow Metal. TensorFlow выпустил поддержку Metal, что даёт ускорение на Mac GPU. Можно поставить и запускать простые модели, но на больших сетях будет нехватка памяти и просадки по скорости.

4. PyTorch на Mac — работает, но тоже по факту только CPU или ограниченно GPU. Для экспериментов с маленькими моделями можно, но ждать быстродействия от MacBook не стоит.

Если хочется чего-то более продвинутого под Mac, то стоит глянуть на проекты с нативной поддержкой Apple Neural Engine, но это пока в основном для iOS и не всегда доступно на macOS.

Проверял ли кто запуск LLaMA локально на Mac? Там формат модели и вес сильно влияют на то, что пойдет без тормозов. В итоге проще запустить компактные модели для экспериментов, чем что-то из топа.

В целом, если нужна локальная нейросеть для каких-то своих задач на MacBook, то либо Core ML, либо легкие модели convertable в ONNX или TensorFlow Metal — самый рабочий вариант. Кто чем пользовался? Есть лайфхаки?