На старом железе реально спасают quantized модели и всякие оптимизации типа ONNX. Я тоже пытался запускать нормальные большие модели — тормоза жуткие, лучше взять что-то полегче, иначе 8 ГБ оперативки вообще мало. Облака хороши, но иногда лениво их дергать. Раньше и того не было, приходилось убиваться, чтоб хоть что-то работало, так что сейчас хоть так — уже прогресс.