Приветствую.
Нужно спарсить сотни, тысячи форумов на финансовую тему (к примеру).
На ум приходит только парсинг по доркам, но встает вопрос по поводу сортировки всех доменов на популярность, дабы отсеять мёртвые форумы и оставить в арсенале только те, на которые действительно заходят и читают.
Суть вопроса: как это дело можно автоматизировать? Может уже есть какие-то готовые утилиты, которые смогут спарсить статистику у сотни доменов.
Заранее спасибо.
Нужно спарсить сотни, тысячи форумов на финансовую тему (к примеру).
На ум приходит только парсинг по доркам, но встает вопрос по поводу сортировки всех доменов на популярность, дабы отсеять мёртвые форумы и оставить в арсенале только те, на которые действительно заходят и читают.
Суть вопроса: как это дело можно автоматизировать? Может уже есть какие-то готовые утилиты, которые смогут спарсить статистику у сотни доменов.
Заранее спасибо.