Парсинг на Python: с чего стартовать новичку и чего не забыть
 

Ребята, кто недавно начал или давно занимается парсингом на Python, поделитесь, пожалуйста, что для вас оказалось самым важным в самом начале. Я вот заметил, что многие новички сразу бросаются на requests и BeautifulSoup, но часто упускают момент с правильной обработкой ошибок и задержками между запросами — из-за этого легко словить бан или неожиданный сбой.

Ещё любопытно, как вы подходите к выбору библиотек? Кто-то советует Scrapy, кто-то более легкие связки, типа requests + lxml. И как у вас с сохранением результатов? Кто-то пишет прямо в базу, кто-то сначала в csv — что оказалось удобнее и почему?

Кроме того, часто сталкивался с тем, что начальные скрипты быстро перестают работать, потому что сайт поменял структуру. Как обычно отслеживаете такие изменения и поддерживаете парсер в актуальном состоянии?

Будет классно услышать реальные советы и лайфхаки, которые реально упрощают жизнь тем, кто только начал ковырять парсинг на Python.

Ну да, я тоже сначала клюнул на requests с BS4, думал, что это панацея. Потом начал падать скрипт, когда чуть сайт поменялся, и понял — надо не просто голый парсинг делать, а ловить ошибки, ставить адекватные паузы и юзать хотя бы что-то из типа lxml для скорости. С сохранением — csv удобно, если данные простые, в базу уже когда помногу и сложней. Главное — не лениться проверять, не умер ли парсер после обновления сайта.

Да, с requests и BS4 многие так начинают, потом приходит понимание — кидать просто запросы без мозгов не прокатит, сайты мутят постоянно. Тут главное оградиться от банов: тайминги, проверка ошибок. А lxml — как зарядка для мозга парсера, ускоряет без напряга. Ну а с сохранением — csv хорош для мелочёвки, база нужна, когда собрались серьезно работать с данными. Главное — трезво относиться к парсингу, это не “написал и забыл”.