Точно, quantized модели – это почти единственный способ что-то с адекватной скоростью запустить на старом железе. Еще ONNX сработает, но зависит сильно от того, насколько модель изначально оптимизирована. 8 гигов реально мало под тяжелые штуки, так что лучше искать облегченные варианты или реально урезанные версии. С облаками удобно, но не всегда есть настроение и время возиться с интернетом.