На таких слабых машинах реально только самые маленькие модели типа GPT-2 distill или tiny LLaMA, да ещё с quantization и pruning. Но даже тогда загрузка цп и своп будет, так что лучше не ждать супер скорости, а больше для экспериментов таскать.