Thread hilfe LWP::Parallel::Useragents
(2 answers)
Opened by tobson at 2007-09-13 01:40
Das Problem ist, das sich alles nach meiner URL Liste richtet, sprich ich hab keinerlei Einfluss mehr auf die Anzahl paralleler Agenten. Wenn ich z.b. 100 verschiedene Url's aus der Liste hole und diese registriere, erzeugt er mir auch 100 parallele Agenten, unabhängig davon, was ich bei $nof_parallel_connections für einen Wert festlege. Wenn die Url-Liste allerdings die gleichen Url's enthält, funktioniert es wieder so, wie es sein sollte. Ich möchte einfach nur bei Angabe paralleler Agenten eine bestimmte Anzahl, hier my &maxurls, anfragen.
#configuration: my $nof_parallel_connections = 2; my $timeout = 10; my $maxurls = 2; ### # Init parallel user agent ### my $ua = MyParallelAgent->new(); $ua->agent("pounder/1.0"); $ua->max_req($nof_parallel_connections); $ua->redirect(0); # No redirects ### # Register all requests ### foreach my $url (@urls) { my $request = HTTP::Request->new('GET', $url); $ua->register($request); } |