Собственно, выбор библиотеки всегда зависит от задачи и объема. Для простых скриптов requests + BeautifulSoup — норм, быстро и просто. А если нужна работа с UI, PyAutoGUI спасает, хоть и ломучий бывает. Selenium хорош для динамики, но ресурсоёмкий. Ну а для больших проектов без Airflow никак, хоть и влетит в сложность. Главное — не пытаться одной библиотекой объять всё сразу, иначе запутаешься быстро.