Thread keine robots.txt auf wiki.perl-community.de
(7 answers)
Opened by kristian at 2010-03-11 16:50 2010-04-09T13:10:17 Escape nein, wobei die ja alle was anderes machen. müsstest du etwas ausfuhren, was du genau meinst. gestern hab ich nur durch die monitoring-warnung unseres providers entdeckt, dass da ein crawler innerhalb von 2 tagen ca. 3GB aus dem wiki gecrawlt hat (wohl ein simples "wget -r", weshalb der server auch damit klarkam (statt wenn es parallele anfragen gewesen wären)). spammer werden im zweifelsfall gestoppt, weil es limits für nicht freigebene beiträge bzw. threads pro thread bzw. forum gibt (wobei da noch das ein oder andere globale limit fehlt). bisher hat es aber wohl eh noch kein robot geschafft, hier was zu posten. vermutlich auch, weil es kein antwortfeld gibt, was indiziert wird (hatte mal auf einer anderen seite robot-spam, da war das antwortfeld noch unter jedem thread sichtbar, seit das weg ist, kommt auch kein spam mehr rein. hält also wohl zumindest die kleinen simplen bots ab). sobald da aber was reinkommt, muss ich sicher auch filter implementieren. bisher ist nur die angriffsfläche so klein, dass es wohl nicht lohnt, einen bot für battie zu schreiben =) Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
lesen: ![]() ![]() |