Цель - собрать все внутренние ссылки на крупном сайте с несколькими миллионами страниц, чтобы потом уже отобрать нужное и скачать. Пробовал Xenu Link Sleuth, но он жрет память и совершает слишком много ненужных операций... И в итоге просто зависает намертво.
Есть ли какой-то аналог нормальный?
Есть ли какой-то аналог нормальный?