Все верно, виртуалки реально спасают от каши с пакетами. Сам начал юзать venv — удобно, что не надо ничего дополнительно ставить. Иногда обновляю pip внутри окружения, чтобы без глюков ставить модули — иначе реально могут быть проблемы. Если не заморачиваться с virtualenv, то venv дико облегчает жизнь, особенно с проектами на разных версиях Python.