Краулеры

[max0n]

Доброго времени суток, обходя просторы интернета, я наткнулся на интересеный термин - "краулер"

Спросисв у чата GPT он мне выдал, что это программы, которые автоматом собирают информацию с веб-сайтов.
Хотел бы узнать более подробно про это у более опытных спецов и пояснить более расширенно

Зарание спасибо

 

[Guron_18]

Поисковый робот — Википедия

ru.wikipedia.org

парсеры, search engine, веб боты это все туда.

 

[max0n]

Поисковый робот — Википедия

ru.wikipedia.org

парсеры, search engine, веб боты это все туда.

То есть, краулеры, это общий термин, всего, что ты перечислил?

 

[Guron_18]

То есть, краулеры, это общий термин, всего, что ты перечислил?

Все верно.

 

[max0n]

Все верно.

Спасибо за пояснения

 

[BLUA]

Также иногда называются пауками.
Обходит сайт и пытается найти все его ссылки(если в контексте веба)
что позволяет выявить интересные урлы, которые потом можно протестировать конечно же