Как парсить сайты?

Jake · 03.01.2023

До этого момента работал по определенным таргетам. Игрался с ними через burp (искал различные вулны и логические ошибки). Теперь хочу пойти от обратного и поработать с определенной уязвимостью. Появилась потребность в поиске сайтов с нужными cms'ками и параметрами.
Все что приходит в голову это поисковые движки по типу шодана, кензиса и зума.
Мне кажется должны быть другие способы с более точной фильтрацией ресурсов...
Что можете посоветовать?

D12 · 03.01.2023

ÐÑÐµÐ¼ ÑÑÐ·Ð²Ð¸Ð¼Ð¾ÑÑÐ¸ Ñ Ð¿Ð¾Ð¼Ð¾ÑÑÑ google

habr.com

D12 сказал(а):

ÐÑÐµÐ¼ ÑÑÐ·Ð²Ð¸Ð¼Ð¾ÑÑÐ¸ Ñ Ð¿Ð¾Ð¼Ð¾ÑÑÑ google

ÐÑÐ±Ð¾Ð¹ Ð¿Ð¾Ð¸ÑÐº ÑÑÐ·Ð²Ð¸Ð¼Ð¾ÑÑÐµÐ¹ Ð½Ð° Ð²ÐµÐ±-ÑÐµÑÑÑÑÐ°Ñ Ð½Ð°ÑÐ¸Ð½Ð°ÐµÑÑÑ Ñ ÑÐ°Ð·Ð²ÐµÐ´ÐºÐ¸ Ð¸ ÑÐ±Ð¾ÑÐ° Ð¸Ð½ÑÐ¾ÑÐ¼Ð°ÑÐ¸Ð¸. Ð Ð°Ð·Ð²ÐµÐ´ÐºÐ° Ð¼Ð¾Ð¶ÐµÑ Ð±ÑÑÑ ÐºÐ°Ðº Ð°ÐºÑÐ¸Ð²Ð½Ð¾Ð¹ â Ð±ÑÑÑÑÐ¾ÑÑ ÑÐ°Ð¹Ð»Ð¾Ð² Ð¸ Ð´Ð¸ÑÐµÐºÑÐ¾ÑÐ¸Ð¹ ÑÐ°Ð¹ÑÐ°, Ð·Ð°Ð¿ÑÑÐº ÑÐºÐ°Ð½ÐµÑÐ¾Ð² ÑÑÐ·Ð²Ð¸Ð¼Ð¾ÑÑÐµÐ¹, ÑÑÑÐ½Ð¾Ð¹...

habr.com

Тут есть примеры поиска CMS
Конечно не без костылей но работает норм
Потом парсинг через питон

https://www.youtube.com/playlist?list=PL6plRXMq5RABXsb0-B0CrWniWBoFZOL20

LocalUser · 03.01.2023

a-parser

uuuet · 04.01.2023

Publicwww - поисковик по исходному коду.
Кроме того, есть продавцы баз сайтов на различных cms за скромный прайс.

EdwyB · 04.01.2023

У меня есть свежие opencart/magento

BLUA · 04.01.2023

Jake сказал(а):

До этого момента работал по определенным таргетам. Игрался с ними через burp (искал различные вулны и логические ошибки). Теперь хочу пойти от обратного и поработать с определенной уязвимостью. Появилась потребность в поиске сайтов с нужными cms'ками и параметрами.
Все что приходит в голову это поисковые движки по типу шодана, кензиса и зума.
Мне кажется должны быть другие способы с более точной фильтрацией ресурсов...
Что можете посоветовать?

Установи движ с которым хочешь работать(ну если не хочешь устанавливать его, то поищи нужные сайты и изучай их). В каждой CMS есть свои плюхи, например пути. По этим плюхам/путям можно написать дорки. Дорки в апарсер или руками в гугл.

Jake · 04.01.2023

LocalUser сказал(а):

a-parser

Есть кряк?

BLUA · 04.01.2023

Jake сказал(а):

Есть кряк?

Бро а как ты думаешь, тебе нужен кряк на прогу, которой лучше пользоваться беттой, потому что когда версия выходит в стайбл, то гугл его уже еб*т.... т.е. парсит плохо.
А ты про кряк, он навреное есть но вообще лохматых версий, и на каждый запрос придётся решать кампчу, так как гугл его уже знает.

Мой совет - на парсинге гугла не экономь, гугл это монстр, с ним так просто не получится

Jake · 04.01.2023

BLUA сказал(а):

Бро а как ты думаешь, тебе нужен кряк на прогу, которой лучше пользоваться беттой, потому что когда версия выходит в стайбл, то гугл его уже еб*т.... т.е. парсит плохо.
А ты про кряк, он навреное есть но вообще лохматых версий, и на каждый запрос придётся решать кампчу, так как гугл его уже знает.

Мой совет - на парсинге гугла не экономь, гугл это монстр, с ним так просто не получится

Я только что понял суть работы апарсера) Он же по факту не нужен, так как все дорки можно по Гуглу прогнать

BLUA · 04.01.2023

Jake сказал(а):

Я только что понял суть работы апарсера) Он же по факту не нужен, так как все дорки можно по Гуглу прогнать

Да но ты должен понимать что гугл даёт разную выдачу, в зависимости от какой локации идёт запрос.
Например тебе нужно пройтись по 1000 дорок, сколько у тебя уйдёт вермени на то чтобы хотябы один запрос пустить через прокси и записать себе 12 страниц например?
Вот, а апарсер всё сделает за тебя, каждый запрос с нового прокси, что снижает капчи, но и капчи он тоже решает.

Я если честно тоже работаю руками в гугле.
Но у меня есть задачи без которых я не смогу сделать вручную(объем просто не тот)

stderr · 08.01.2023

You can try octaparse. It's free, open source and very easy to use.

Web Scraping Tool & Free Web Crawlers | Octoparse

Web scraping made easy. Collect data from any web pages within minutes using our no-code web crawler. Get the right data to drive your business forward. Start for Free Today!

www.octoparse.com

pepel · 08.01.2023

чем парсить гугл по доркам, лучше купи/найди базу доменов, и прогони их чекером cms по ключевым словам или путям спецефичным для конкретной цмс. Будет очень много мусора, но не придется дрочить капчу и прочие гугловые механизмы

3ToN · 08.01.2023

База доменов по CMS Joomla, Wordpress, Bitrix, DLE, Drupal, MODx, Amiro

domengood.ru

могу скачать что-нибудь, но отсеивать снг нужно

3ToN · 10.01.2023

Базa сайтов на CMS Wordpress