Раньше на слабом железе просто парсил всё по очереди и вис почти обеспечен, память жрала безбожно. Сейчас с генераторами и лру-кешем стало реально легче, да и асинхронность в сеть — прям спасение, ничего сложного, только сначала мощи не было, а теперь можно хоть что-то с этими видами нагрузок делать.