2010-03-12T08:08:54 kristian

Ob ein Bot die robots.txt liest und beachtet ist seine Sache, es gibt ja kein Gesetz diesbezüglich.

hab ich das behauptet?

Quote

Ob Sachen wie Allow oder Crawl-Delay beachtet werden ist von Bot zu Bot verschieden.

der bot behauptet selber auf seiner homepage, dass er das beachtet. nur darum schrieb ichs ja rein...

Quote

Ich denke man sollte einem Bot auf jeden Fall auferlegen, die robots.txt zu lesen und nach bestem Wissen zu beachten. Besser man liest zu wenig Urls' als zuviel.

wie meinst du das jetzt wieder? inwiefern soll ich einem bot das "auferlegen"? kann ich irgendeinen bot zwingen? nein.

Quote

Es ist nicht immer so, wann und warum es passiert kann ich nicht sagen. Ich weiß aber, dass die Leute die meckerten "G beachtet die robots.txt nicht" Erfolg hatten, nachdem sie G namentlich erwähnten.

hier funktionierts wie gewünscht.

wenn du nix mehr an der robots.txt auszusetzen hast, werde ich das zu resolved verschieben.