Ну да, я тоже сначала клюнул на requests с BS4, думал, что это панацея. Потом начал падать скрипт, когда чуть сайт поменялся, и понял — надо не просто голый парсинг делать, а ловить ошибки, ставить адекватные паузы и юзать хотя бы что-то из типа lxml для скорости. С сохранением — csv удобно, если данные простые, в базу уже когда помногу и сложней. Главное — не лениться проверять, не умер ли парсер после обновления сайта.