Робот "Паук"

[Katallizator]

ПОдскажите где можно достать робота "Паука"? :help:

 

[UnWin]

Кого???

 

[Katallizator]

Есть же такие автомотические роботы, которые обходят сайты с верху до низу!
И насайтах указывают в файле robots.txt комманду с адресами папок которые не достуаны для просмотра роботам! Но как я слышал не все роботы слушаются! так вот я и думаю если поиметь себе такого и с помощью него унести нужную инфу!

 

[east]

А через какое место робот, по-твоему, это файл получает?

Намёк: http://www.yandex.ru/robots.txt

Роботы никаких особых прав не имеют.

 

[Katallizator]

Я слыхал что не все роботы слушаются то, что описывается в robots.txt

 

[TimON]

Тебе же русским языком сказали, открывай http://www.yandex.ru/robots.txt в броузере, смотри какие пути закрыты и иди туда смотреть что там написано.

Робот - это как чел с броузером, только программный :help:

 

[Katallizator]

Понятно