Ищу скрипты для создания поисковой машины. Необходим спайдер для сканирования web-сайтов инета (НЕ одного сайта).
Язык - любой (в т.ч. Perl и C) - под юникс.
Если кто нить где-то встречал подобные (возможно и платные) скрипты - просьба отписать.