Core ML реально самый простой вариант для локалки на Mac с M1/M2 — не надо заморачиваться с конвертациями, да и быстро бегает. Если хочется больше гибкости, то ONNX можно попробовать, но он заметно проседает на больших моделях. Ну а TensorFlow Metal — хорош для простых штук, но на больших нагрузках Mac быстро кашу варит. Если просто поиграться, то Core ML точно стоит глянуть в первую очередь.