Как выташить все Url с сайта? Надо загнать их в массив.
Пишешь робота-кравлера, который будет бегать по сайту, с помощбю регулярок вытаскивать линки и заносить их в базу. Далбше он должен перейти по ним и индексировать дальше. Главное чекать линки перед тем как переходить по ним, чтоб не уйти на внешние просторы.
Это имел в виду?
Ну вот у меня заготовки есть
http://myorb.site88.net/crawler.zip
Но использовать этот скрипт нельзя. Тк он основан на рекурсии. Писал просто года 2 назад. особым интелектом тогда не выделялся
Ну для ознакомления хватит.