2010-03-12T14:39:48 pq

Quote

Ob Sachen wie Allow oder Crawl-Delay beachtet werden ist von Bot zu Bot verschieden.

der bot behauptet selber auf seiner homepage, dass er das beachtet. nur darum schrieb ichs ja rein...

Hmm naja, das ist ev. noch der Wunsch des Betreibers, den die Programmierer noch nicht umgesetzt haben. Vertrauen ist gut Kontrolle besser...

2010-03-12T14:39:48 pq

Quote

Ich denke man sollte einem Bot auf jeden Fall auferlegen, die robots.txt zu lesen und nach bestem Wissen zu beachten. Besser man liest zu wenig Urls' als zuviel.

wie meinst du das jetzt wieder? inwiefern soll ich einem bot das "auferlegen"? kann ich irgendeinen bot zwingen? nein.

Sorry. Mein Fehler.
Ich hätte "seinem Bot" Bot schreiben sollen, das hatte ich nämlich gemeint.

2010-03-12T14:39:48 pq

wenn du nix mehr an der robots.txt auszusetzen hast, werde ich das zu resolved verschieben.

Die robots.txt ist jetzt IMHO absolut perfekt.
User-agent: * nach unten macht Sinn, da normale Robots wirklich aufhören, wenn Sie sich selbst gefunden haben und man die nicht mit dem Quatsch "zumüllen" muß. Aber das hattest du ja schon angemerkt.

Schieb's nach resolved.

Danke für deine Zeit.

Gruß
Kristian