Schrift
[thread]620[/thread]

LWP::UserAgent - URL check -> Server überlastet: Wie kann ichs verhindern



<< >> 9 Einträge, 1 Seite
x-man
 2005-12-05 01:31
#6093 #6093
User since
2003-09-11
67 Artikel
BenutzerIn
[default_avatar]
Hi all,

ich wollte alle URLs (ca. 2000) in einer Textdatei per LWP::UserAgent überprüfen, ob sie noch gültig sind. Leider stürzt mein Server (Xitami) immer wieder ab mit der Meldung: "Server overloaded".

Gibt es dafür eine Lösung?

Danke!
pq
 2005-12-05 02:57
#6094 #6094
User since
2003-08-04
12208 Artikel
Admin1
[Homepage]
user image
baue nach allen X requests ein sleep ein. perldoc -f sleep
Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
lesen: Wiki:Wie frage ich & perlintro Wiki:brian's Leitfaden für jedes Perl-Problem
coax
 2005-12-05 03:34
#6095 #6095
User since
2003-08-11
457 Artikel
BenutzerIn
[default_avatar]
Verwende HEAD- statt GET-Requests, falls du das noch nicht tust.
,,Das perlt aber heute wieder...'' -- Dittsche
x-man
 2005-12-09 03:23
#6096 #6096
User since
2003-09-11
67 Artikel
BenutzerIn
[default_avatar]
Vielen Dank!
x-man
 2005-12-13 18:01
#6097 #6097
User since
2003-09-11
67 Artikel
BenutzerIn
[default_avatar]
Ich habe sleep verwendet. Also, nach der 20ten URL für 10 Sekunden schlafen. Leider hat es immer noch nicht funktioniert.
esskar
 2005-12-13 18:55
#6098 #6098
User since
2003-08-04
7321 Artikel
ModeratorIn

user image
besser... schlaf nach jeder Url ca 250 ms
x-man
 2005-12-13 19:15
#6099 #6099
User since
2003-09-11
67 Artikel
BenutzerIn
[default_avatar]
Mach ich! Werde dann berichten, ob es klappt. Euch allen schönes Weihnachtsfest!
x-man
 2005-12-14 00:07
#6100 #6100
User since
2003-09-11
67 Artikel
BenutzerIn
[default_avatar]
@sk: wie soll ich das Script 250 ms schlafen lassen, wenn sleep() nur mit ganzen Sekunden arbeitet? Und funktioniert sleep() auch unter Windoof?\n\n

<!--EDIT|x-man|1134511707-->
ptk
 2005-12-14 00:55
#6101 #6101
User since
2003-11-28
3645 Artikel
ModeratorIn
[default_avatar]
Time::HiRes verwenden oder die 4-Argument-Form von select().

Aber willst du nicht lieber auf Apache umsteigen?
<< >> 9 Einträge, 1 Seite



View all threads created 2005-12-05 01:31.