Пробовал запускать всякие локальные нейросети на MacBook с M1 и M2, и да, не всё так просто, как хотелось бы. В айосе и macOS большинство фреймворков либо плохо оптимизированы под ARM, либо сильно нагружают процессор, особенно если речь о моделях посложнее. На практике для базовых задач типа генерации текста или простой классификации можно поднять что-то на CoreML или TensorFlow Lite — они встраиваются нормально и не требуют супервычтслятелей. Но если хочется чего-то посерьёзнее — например, Stable Diffusion или большие трансформеры — тут либо на облако соваться, либо искать способ упрощать модели.

Для проверки быстродействия у меня обычно просто берётся тестовый скрипт на Python и замеряется время инференса. Если идёт больше 5-10 секунд, то практически неудобно работать. Из альтернатив видел также ONNX с разными backend’ами, но настройка не всегда тривиальная.

Делитесь, кто что ставит? Какие инструменты лучше всего завелись без плясок с бубном? И есть ли у кого опыт действительно удобной работы с локальными нейросетями на MacBook, чтобы без ноутбук в костюмчик не упаковывать?