Я пробовал на M1 запускать tiny-модели — реально работает, но толку мало, да и быстро всё равно не побыстрее. Понял, что что-то серьёзное тяжело поднять без мощного железа, да и батарейку садит быстро. В общем, для простых задач можно, но сложные штуки лучше облако оставлять или смешивать с локалом.