Опыт подсказывает — если pip отказывается ставить, обычно виновата старая версия или путаница с Python’ом. Запустить через python -m pip и обновить pip — это уже почти классика жанра. Ну и виртуалки — не баловство, а реально удобно, особенно когда проекты сыпятся из-за зависимостей. Так что да, без этого — нервотрёпка гарантирована.