Problem mit http request (gelöst) (Fragen zu Perl-Modulen)

[thread]18184[/thread]

Problem mit http request [gelöst]

Tags: perl5 LWP Ähnliche Threads

Leser: 18

Articles: hide open all | hide show old branches

+6 replies
the_void

2013-03-05 13:54
User since
2013-03-05
2 Artikel
BenutzerIn
Hi,

Ich hoffe ich bin hier richtig. Ich möchte einen http request an eine amazon Seite mit Kundenrezensionen schicken, wobei die Rezensionen nach Datum sortiert sein sollen.
Also zum Beispiel so: http://www.amazon.com/Samsung-YP-GS1CB-XAA-3-6-Inc...

Wenn ich mir die Seite über mein Skript hole funktioniert das leider nicht mit der Sortierung. Ich denke ich bekomme dann http://www.amazon.com/Samsung-YP-GS1CB-XAA-3-6-Inc... oder vielleicht auch http://www.amazon.com/Samsung-YP-GS1CB-XAA-3-6-Inc... .
Ich weiß es nicht und finde auch leider nichts dazu.

Mein http request sieht in etwa so aus:
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13

use LWP::UserAgent; my $start = 'http://www.amazon.com/product-reviews/B007M6EYU2/ref=cm_cr_pr_top_recent?ie=UTF8&showViewpoints=0&sortBy=bySubmissionDateDescending'; my $ua = LWP::UserAgent->new; $ua->agent("MyApp/0.1 "); my $req = HTTP::Request->new(GET => $start); my $res = $ua->request($req); if ($res->is_success) { my $website = $res->content; open OUT,">test.html"; print OUT "$website\n"; close OUT; }
Der Code den ich dann in test.html habe stimmt nicht mit dem code der Seite überein, wenn ich sie manuell im Browser aufrufe.

Kann jemand helfen?

Viele Grüße
Last edited: 2013-03-05 13:58:31 +0100 (CET)
- +2 replies
- GwenDragon
  
  2013-03-05 14:55
  
  User since
  2005-01-17
  14754 Artikel
  Admin1
  
  Wo ist denn der Unterschied im HTML?
  
  Ich nehme an, es liegt daran, dass LWP im Gegensatz zum Browser kein Javascript ausführt.
  Da kann dir nur WWW::Mechanize::Firefox helfen.
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - the_void
    
    2013-03-05 15:05
    
    User since
    2013-03-05
    2 Artikel
    BenutzerIn
    
    Danke für deine Antwort.
    
    Der Unterschied ist, dass die Rezensionen nach Helpful Votes(Wird wohl die Default Sortierung sein) anstatt nach Datum sortiert sind.
    
    Ich schau mir das Modul mal an und probiers aus.
- +3 replies
- jan
  
  2013-03-05 17:31
  User since
  2003-08-04
  2536 Artikel
  ModeratorIn
  Interessant, Amazon scheint da auf den UserAgent zu reagieren.
  
  Wenn Du vor das
  
  Code (perl): (dl )
  
  my $res = $ua->request($req);
  
  noch
  
  Code (perl): (dl )
  
  $req->headers->header('User-Agent', 'Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.8.1.17) Gecko/20080829 Firefox/2.0.0.17');
  
  einsetzt, funktioniert es wie erwartet. Was das bei Amazon soll: keine Ahnung.
  - +2 replies
  - GwenDragon
    
    2013-03-05 17:46
    
    User since
    2005-01-17
    14754 Artikel
    Admin1
    
    Amazon hat eben keine Lust, sich von LWP-Perlskripten nerven zu lassen, um unnötig Inhalte zu generieren.
    Und MyApp/99.88 wäre oder Bradwosch/3.0 auch sowas von falsch. ;)
    
    Wer sinnvolle Inhalte haben will, sollte einen neueren Browser als UA verwenden.
    Last edited: 2013-03-05 17:47:42 +0100 (CET)
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
    - jan
      
      2013-03-05 17:55
      
      User since
      2003-08-04
      2536 Artikel
      ModeratorIn
      
      2013-03-05T16:46:19 GwenDragon
      Amazon hat eben keine Lust, sich von LWP-Perlskripten nerven zu lassen, um unnötig Inhalte zu generieren.
      Und MyApp/99.88 wäre oder Bradwosch/3.0 auch sowas von falsch. ;)
      
      Ja, ich hätte das auch durchaus verstanden, wenn sie dann 403 oder "Keine Bots erlaubt" zurückgeben. Aber einfach eine andere Sortierung und etwas mehr Daten? Das finde ich eine merkwürdige Idee.
      
      2013-03-05T16:46:19 GwenDragon
      Wer sinnvolle Inhalte haben will, sollte einen neueren Browser als UA verwenden.
      
      Ach, der läuft bei mir seit Jahren gut als UA, egal welchen Dienst ich abfrage der keine Bots mag. Vielleicht ist ein älterer sogar besser: der hat's sicher in alle Browser-Erkennungs-Listen geschafft.

View all threads created 2013-03-05 13:54.