2010-03-12T08:08:54 kristian

2010-03-11T22:32:09 pq

kann ich nicht bestätigen, da Googlebot zurst /bat/member crawlte und nach dem Disallow damit aufhörte.

Es ist nicht immer so, wann und warum es passiert kann ich nicht sagen. Ich weiß aber, dass die Leute die meckerten "G beachtet die robots.txt nicht" Erfolg hatten, nachdem sie G namentlich erwähnten.

eventuell war es in diesem Fall nicht der echte Bot? Ich hab hier jedenfalls auch öfter mal Zugriffe von einem Googlebot, aber die IP stammt gar nicht von Google. Und dieser hält sich auch nicht an die robots.txt