Переделал немного. Теперь за раз парсится 100 результатов, добавил строки для детекта ошибки и фильтрацию некоторых заведомо неудачных ссылок.

Насчет хедеров не уверен, как есть сейчас - это норм?