Когда начинал парсить, тоже плотно натыкался на то, что сайты блочат запросы без правильных заголовков. Сейчас обычно просто копирую User-Agent из браузера — и всё летит. Заглядывать в структуру страницы через devtools реально помогает, иначе будешь искать иголку в стоге сена без конца. Это не особо сложный навык, если не лезть в JS-динамику сразу.