Чисто по опыту — на 8-12 гигах видеопамяти реально запускать небольшие модели, но без тормозов и перегрева не получится. Пока локалка больше для экспериментов и чтобы понять, как устроено, а не для постоянной работы на высоком уровне. Приходится искать золотую середину между возможностями железа и желаемой нагрузкой.