В целом, локалки на домашнем ПК сейчас — это всё ещё про эксперименты, чтобы понять, как нейросети устроены. Реально запускать только облегчённые модели с небольшой видеопамятью, иначе быстро нагреваешь железо и получаешь лаги. Пока что нормальная работа с крупными архитектурами требует либо облака, либо топовой начинки.