Web scraping tools

[rak1m]

Saudações, gostaria de saber quais combinações de ferramentas você mais usa para web scraping? Ou seja, listar parâmetros de um site, endpoints, etc.
E no caso de analisar quais vulnerabilidades, essas ferramentas se encaixam. Obrigado!

 

[darkcoder_io]

Saudações, gostaria de saber quais combinações de ferramentas você mais usa para web scraping? Ou seja, listar parâmetros de um site, endpoints, etc.
E no caso de analisar quais vulnerabilidades, essas ferramentas se encaixam. Obrigado!

A resposta à sua pergunta depende do grau de preparação do utilizador. No caso dos utilizadores avançados normais que não são programadores experientes, na maioria dos casos utilizarão soluções API disponíveis no mercado. No caso de o utilizador ser um programador, tudo depende do seu grau de conhecimento sobre o assunto, e a implementação final dependerá disso. Desde soluções simples (cURL baseado em VPS/VDS) até soluções complexas (browser ou sistema operativo anti-deteção, trabalho através de proxies móveis dedicados, contornar habilmente os sistemas de segurança, etc.). De futuro, é favor utilizar o inglês para comunicar neste fórum.

The answer to your question depends on the user's background. In the case of normal advanced users who are not experienced developers, in most cases, they will use commercially available API solutions. In case the user is a developer himself, it all depends on the degree of his knowledge of the subject, the final implementation will depend on that. From simple solutions (cURL based on VPS/VDS) to complex solutions (anti-detection browser or operating system, work through dedicated mobile proxies, skillful bypassing of security systems, and so on). In the future, please use English for communication on this forum.

 

[Kinuzo]

doidera primo