Ну, с таким железом GPT-3 и 4 точно не попытаешь, это ж космос. Но вот маленькие модели типа alpaca, llama в облегченном варианте — самое то. Не супербыстро, но вменяемо. Для простых задач и поиграться годится, особенно если терпеть подтормаживания. Раньше вообще такого на домашнем компе и не мечтали, так что можно уже считать прогрессом.

Я на старом пк пробовал запускать tiny llama — ну, не ракета, но вполне себе дружит с 8 ГБ и не вырубает систему. Понятно, что это не GPT-4, но иногда баланс между железом и мозгом всё ещё спасает ситуацию. Раньше такое и в страшном сне не снилось.