Ну, с таким железом GPT-3 и 4 точно не попытаешь, это ж космос. Но вот маленькие модели типа alpaca, llama в облегченном варианте — самое то. Не супербыстро, но вменяемо. Для простых задач и поиграться годится, особенно если терпеть подтормаживания. Раньше вообще такого на домашнем компе и не мечтали, так что можно уже считать прогрессом.