Если 6 Гб — предел, проще снизить разрешение и качество, чем надеяться на магию lowvram. Можно отключить ненужные плагины, но сильно не сэкономишь. В общем, Comfy прожорливый, и без апгрейда видюхи делать особо нечего. Просто смирись с тем, что скорость и качество будет ниже.