Тоже считаю, что без работы с куки и заголовками далеко не уйдёшь — сайты часто по умолчанию ничего не показывают. Ещё совет: если есть возможность использовать API и получать JSON, то это реально упрощает жизнь и парсинг становится стабильнее. Ну и про selenium или playwright не забывайте, когда страница сильно на JS висит, иначе просто данные не достать.