Народ, киньте пример такого файла, для российских поисковикоы и гугла.
-
XSS.stack #1 – первый литературный журнал от юзеров форума
файл robots.txt
- Автор темы Beep
- Дата начала
Гг . Задай в том же гугле запрос
и посмотри пример.
+|
Код:
inurl:robots.txt+|
Например с сайта http://www.whitehouse.gov/
Там много но вот кусочек.
Там много но вот кусочек.
Код:
User-agent:*
Disallow:/cgi-bin
Disallow:/search
Disallow:/query.html
Disallow:/help
Disallow:/360pics/text
Disallow:/911/911day/text
Disallow:/911/heroes/text
Disallow:/911/messages/text
Disallow:/911/patriotism/text
Disallow:/911/patriotism2/text
Disallow:/911/progress/text
Disallow:/911/remembrance/text
Disallow:/911/response/text
Disallow:/911/sept112002/text
Disallow:/911/text
Disallow:/QA-test/text
Disallow:/aci/text
Disallow:/afac/text
Disallow:/webmail/text
Disallow:/whatnew/text
Disallow:/whatsnew/text
Disallow:/whitehouse-new/text
Disallow:/whmo/text
Disallow:/whquiz/text
Disallow:/wmd/text
Disallow:/ww2/photoessay1/text
Disallow:/ww2/photoessay2/text
Disallow:/ww2/photoessay3/text
Disallow:/ww2/text
User-agent:whsearch
Disallow:/cgi-bin
Disallow:/search
Disallow:/query.html
Disallow:/help
Disallow:/sitemap.html
Disallow:/privacy.html
Disallow:/accessibility.html
Кстати говоря тема весьма интересная, робот сам индексируется и если поглядеть на разных сайтах - можно увидеть кто что прячет на серваке 
- Автор темы
- Добавить закладку
- #5
C web-hack.ru улыбнуло
Some more:
//++++++++++++++++++
User-agent: *
Disallow: /cgi-bin
Disallow: /datas
Disallow: /plugins
Disallow: /skins
Disallow: /system
//++++++++++++++++++
with directive User-agent: u can define, to wich search bot's to allow or dissalow access for indexing the site, in our case "*", indexing is allowed to all search bot's.
user-agent's of the search bot's u can find on internet.
//++++++++++++++++++
User-agent: *
Disallow: /cgi-bin
Disallow: /datas
Disallow: /plugins
Disallow: /skins
Disallow: /system
//++++++++++++++++++
with directive User-agent: u can define, to wich search bot's to allow or dissalow access for indexing the site, in our case "*", indexing is allowed to all search bot's.
user-agent's of the search bot's u can find on internet.
Это что реал всю эту ботву писать надо?
Я лично по-простому делаю:
Эта вроде всём поисковикам разрешает все страницы индексировать.
Угу. И много мусора будет. Этот файл и создан для того чтобы перекрыть ненужные пути поисковому боту
robotstxt.org.ru ---- Всё, что нужно знать о файле robots.txt