Thread keine robots.txt auf wiki.perl-community.de (7 answers)
Opened by kristian at 2010-03-11 16:50

pq
 2010-04-09 15:26
#135865 #135865
User since
2003-08-04
12208 Artikel
Admin1
[Homepage]
user image
2010-04-09T13:10:17 Escape
machst Du was gegen Spammer/Harvester/Attacker usw. die das Forum überfallen?

nein, wobei die ja alle was anderes machen. müsstest du etwas ausfuhren, was du genau meinst.

gestern hab ich nur durch die monitoring-warnung unseres providers entdeckt, dass da ein crawler innerhalb von 2 tagen ca. 3GB aus dem wiki gecrawlt hat (wohl ein simples "wget -r", weshalb der server auch damit klarkam (statt wenn es parallele anfragen gewesen wären)).

spammer werden im zweifelsfall gestoppt, weil es limits für nicht freigebene beiträge bzw. threads pro thread bzw. forum gibt (wobei da noch das ein oder andere globale limit fehlt). bisher hat es aber wohl eh noch kein robot geschafft, hier was zu posten. vermutlich auch, weil es kein antwortfeld gibt, was indiziert wird (hatte mal auf einer anderen seite robot-spam, da war das antwortfeld noch unter jedem thread sichtbar, seit das weg ist, kommt auch kein spam mehr rein. hält also wohl zumindest die kleinen simplen bots ab).

sobald da aber was reinkommt, muss ich sicher auch filter implementieren. bisher ist nur die angriffsfläche so klein, dass es wohl nicht lohnt, einen bot für battie zu schreiben =)
Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
lesen: Wiki:Wie frage ich & perlintro Wiki:brian's Leitfaden für jedes Perl-Problem

View full thread keine robots.txt auf wiki.perl-community.de