Opened by kristian at 2010-03-11 23:11
User since
2005-04-14
684 Artikel
BenutzerIn
![[Homepage]](/battie/theme/default/homepage.gif)
![[default_avatar]](/battie/theme/default/default_avatar.gif)
2005-04-14
684 Artikel
BenutzerIn
Sorry für die Klugscheisserei aber:
ist meiner Meinung nach so nicht richtig.
Ein Bot liest die komplette robots.txt und speichert "*" in "anonymous", wenn er sich selbst findet geht das in "is_me".
Bei der Abfrage ob etwas erlaubt ist guckt er in "is_me" || "anonymous".
Sprich wenn er sich selbst gefunden hat wird "anonymous" ignoriert.
d.h. der MJ12 darf hier alles lesen was er will solange er sich an das Delay hält.
Achso, beim GoogleBot ist in der Vergangenheit oft aufgefallen, dass "*" ignoriert wird, dieser "Fürst" will mit seinem Namen angesprochen werden.
Gruß
Kristian
Code: (dl
)
1
2
3
4
5
6
7
8
9
10
# Allow all
User-agent: *
Disallow: /bat/login
Disallow: /bat/guest
Disallow: /bat/userprefs
Disallow: /bat/member
Disallow: /bat/poard/post_answer
User-Agent: MJ12bot
Crawl-Delay: 10
Ein Bot liest die komplette robots.txt und speichert "*" in "anonymous", wenn er sich selbst findet geht das in "is_me".
Bei der Abfrage ob etwas erlaubt ist guckt er in "is_me" || "anonymous".
Sprich wenn er sich selbst gefunden hat wird "anonymous" ignoriert.
d.h. der MJ12 darf hier alles lesen was er will solange er sich an das Delay hält.
Achso, beim GoogleBot ist in der Vergangenheit oft aufgefallen, dass "*" ignoriert wird, dieser "Fürst" will mit seinem Namen angesprochen werden.
Gruß
Kristian