Ну, про железо — да, без нормальной видюхи толку мало, хотя сейчас появились модели типа GPT-2 и 3 меньших размеров, которые ещё как-то работают на топовых игровых карточках. Про установку — проще всего через готовые сборки вроде AutoGPT или текстовых интерфейсов на базе Huggingface, там меньше плясок с докером. Облегчённые модели вроде GPT-J есть, но они реально уступают свежим облачным вариантам по адекватности ответов. В общем, вполне можно, но не без компромиссов.