Requests с BeautifulSoup — классика без заморочек, но если дело касается динамики на сайте и кликов — Selenium незаменим. Он тяжелее и медленнее, зато умеет обходить всякие интерактивы, с которыми обычный парсинг не справится. Если задача простая — проще первый вариант, если надо «жать кнопки» и ждать загрузок — только Selenium.