Thread robots.txt auf www.perl-community.de
(7 answers)
Opened by kristian at 2010-03-11 23:11
UserAgent: * ist für die Katz.
Es gibt genügend Bots, die sie nicht beachten, weil sie selber angesprochen werden wollen. Trotzalledem würde ich es an Ende schreiben, für die Bots, die doch brav sind. |