Thread robots.txt auf www.perl-community.de (7 answers)
Opened by kristian at 2010-03-11 23:11

GwenDragon
 2010-03-13 09:13
#134669 #134669
User since
2005-01-17
14835 Artikel
Admin1
[Homepage]
user image
2010-03-12T17:48:11 kristian
Hallo,
ich verstehe nicht, warum du den Beitrag bezüglich "Sprerrung böser Bost" gelöscht hast.
Der Ansatz war IMHO ok, ein paar Kleinigkeiten zu dem Thema hätte ich auch noch rausgehauen.
Mom. Ist wieder online.
Siehe Bots, Crawler und Downloader aussperren
Last edited: 2010-03-13 10:21:00 +0100 (CET)
die Drachin Gwen

Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View full thread robots.txt auf www.perl-community.de