Тут не всё так однозначно. Да, облегчёнки типа GPT-2 small запустить можно, но ждать результатов иногда утомительно, особенно без нормального GPU. В идеале, конечно, Linux и SSD помогают, но даже тогда — всё довольно тормознутый процесс. Если сильно ждать не хочется — лучше уж работать с облаком или вовсе не заморачиваться с локалкой на слабом железе.