Ну да, размер модели и требования — это прям боль для слабого железа. Ещё заметил, что иногда крутые модели можно подружить с оптимизациями типа ONNX Runtime или TensorRT, они реально ускоряют на CPU. И да, quantized версии — это спасение, если нет нормального GPU. Облака кстати помогали, когда совсем нулёвое железо, но иногда лень с интернетом возиться. Главное — не пытаться запихнуть гиганта на 8 гигабайт оперативки.