Crawler : Mehrsprachige Webseite (Allgemeines zu Perl)

[thread]19111[/thread]

Crawler : Mehrsprachige Webseite

Tags: perl5 Ähnliche Threads

Leser: 18

Articles: hide open all | hide show old branches

+5 replies
kimmy

2014-05-26 16:56
User since
2010-09-10
87 Artikel
BenutzerIn
Hallo,
ich versuche einen Crawler zu schreiben. Falls ich die Seite mit der Hilfe
Code: (dl )

use LWP::Simple;
hole, dann wurde immer die deutsche Web-Seite geholt.
Wie kann ich englische Seite (oder andere sprachige Seite) holen?
Kann man eigentlich bei einer mehrsprachigen WebSeite eine bestimmte Sprache definieren?
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10

#!/usr/bin/perl use strict; use warnings; use LWP::Simple; my $url = 'http://www2.mouser.com/Search/Refine.aspx?Keyword=FODM8801A'; my $html = get $url; print "$html\n";
Last edited: 2014-05-26 17:00:03 +0200 (CEST)
- +2 replies
- GwenDragon
  
  2014-05-26 17:14
  User since
  2005-01-17
  14746 Artikel
  Admin1
  2014-05-26T14:56:27 kimmy
  Kann man eigentlich bei einer mehrsprachigen WebSeite eine bestimmte Sprache definieren?
  Manche Webseiten werten den Request-Header Accept-Language aus.
  
  Beispielsweise hat mein Opera:
  Accept-Language: de,de-DE;q=0.9,en;q=0.8
  
  Schnippsel:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
  
  use LWP::UserAgent; my $url = 'http://www2.mouser.com/Search/Refine.aspx?Keyword=FODM8801A'; my $ua = LWP::UserAgent->new; $ua->default_header('Accept-Language' => 'de'); # deutsch $ua->agent('Mozilla/5.0'); # Sinnvollen Useragent, da manche LWP blocken my $html; my $response = $ua->get($url); if ($response->is_success) { $html = $response->decoded_content; } else { die $response->status_line; } print "$html\n";
  
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - kimmy
    
    2014-05-26 17:32
    
    User since
    2010-09-10
    87 Artikel
    BenutzerIn
    
    Danke für Antwort.
    Aber bei mir wurde immer nur deutsche Seite geholt.
- Linuxer
  
  2014-05-26 17:19
  User since
  2006-01-27
  3890 Artikel
  HausmeisterIn
  Der Client (Browser) kann via HTTP einen "Accept-Language" Header schicken, der definiert, welche Sprachen vom Client präferiert werden (inklusive einer Gewichtung). Das kann dann vom Server ausgewertet und vielleicht auch beachtet werden.
  
  Siehe: http://www.w3.org/Protocols/rfc2616/rfc2616-sec14....
  
  Mit LWP::UserAgent ist es möglich, diesen Header explizit zu setzen.
  
  perldoc LWP::UserAgent
  ...
  $ua->default_header( $field => $value )
  
  This is just a short-cut for $ua->default_headers->header( $field => $value ). Example:
  
  $ua->default_header('Accept-Encoding' => scalar HTTP::Message::decodable());
  $ua->default_header('Accept-Language' => "no, en");
  
  Möglicherweise beachtet LWP::Simple die Umgebungsvariablen? Dann könnte es auch schon reichen, die Umgebung vorm Aufruf zu ändern.
  
  Code: (dl )
  
  LANG=en_GB ./skript.pl
  
  Einfach mal rumprobieren.
  
  edit: Gestrichen, weil auf die Schnelle keinen Hinweis darauf gefunden.
  Last edited: 2014-05-26 17:22:21 +0200 (CEST)
  meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
  Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
- GwenDragon
  
  2014-05-26 17:31
  
  User since
  2005-01-17
  14746 Artikel
  Admin1
  
  Die Seite speichert die Seitenpräferenzen in einem Cookie mit Namen wie preferences folgt die Werte
  ps=www2&pl=de-DE&pc_de=EUR&pc_www2=USDe
  Wie du siehst, gibts da pl = de-DE für Deutsch-Deutschland.
  
  Und warum rufst du nicht gleich die Seite mit den Länderkennern als Subdomain auf?
  
  EU http://eu.mouser.com/
  DE http://de.mouser.com/
  IT http://it.mouser.com/
  
  Wie du siehst benutzen die ISO-Codes für die Länder.
  Last edited: 2014-05-26 17:32:36 +0200 (CEST)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View all threads created 2014-05-26 16:56.