На М1/М2 с локалками реально не свалишься в кайф шустрых вычислений, но для простых задач CoreML работает нормально — запускает базу без долгого ожидания. Если нужна тяжелая модель — лучше облако, местная сборка быстро тягомотит железо и греет макбук. Для стабильной и плавной работы лучше подбирать легкие варианты, иначе только терпение и терпение.