Thread LWP::UserAgent: LWP::UserAgent emulate Mozilla (2 answers)
Opened by gintonic at 2007-01-15 19:21

gintonic
 2007-01-15 19:21
#9521 #9521
User since
2006-03-10
1 Artikel
BenutzerIn
[default_avatar]
Ich möchte von einer Webseite HTML Code auslesen, um dann einige Angaben daraus weiterzuverwenden. Leider kann die Seite nicht geladen werden, da der Server merkt, dass nicht ein "echter Browser" sondern LWP::UserAgent den Code anfordert und eine Fehlermeldung liefert (die zwar fehlerfrei gelesen wird, aber das bringt mich natürlich nicht weiter).
Ideen wie das Emulieren eines modernen Browsers möglich wäre? (für den gewünschten HTML-Code müsst ihr die Seite halt im Browser laden)

thx

Code: (dl )
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
#!/usr/bin/perl


use LWP::UserAgent;
my $ua = LWP::UserAgent->new;
$ua->agent("Mozilla/5.0");





 $req = HTTP::Request->new(GET => 'http://www.immomarktschweiz.ch/anzeige/pgObjekt.aspx?id=1&pc=lkb');
 $req->header('Accept' => 'text/html');

 # send request
 $res = $ua->request($req);

 # check the outcome
 if ($res->is_success) {
    print $res->decoded_content;
 }
 else {
    print "Error: " . $res->status_line . "\n";
 }

View full thread LWP::UserAgent: LWP::UserAgent emulate Mozilla