Всё сводится к тому, что requests и BeautifulSoup — базис, без которого сложно двигаться дальше. Если сразу пытаться через Selenium прыгать — можно либо запутаться, либо тормозить. Про HTML/CSS прям правда: понимание структуры страницы экономит кучу времени и нервов. По коду лучше делать маленькие функции, так не потеряешься, если что-то менять или допиливать. И не забывай про паузы — сервера не фанаты ддоса в лице твоего парсера.