Парсинг — штука одновременно простая и капризная. В те времена, когда я только начинал, часто тупил из-за JS и динамики страниц, так что Selenium — мой спаситель. Главное — не спешить, плавно «выплёвывать» данные и уважать сайты, чтобы потом не банило. А кодировку с кириллицей не забывать проверять, а то кракозяблы будут радовать!