Я просто убрал все лишние плагины и подрубил hot-reload — стало реально быстрее. Ну и не грузил проект всякой фигней, что не надо, помогло. С Webpack не очень понимаю пока, Vite звучит проще, может попробую.