Webseite lesen und Inhalt speichern - Probleme mit encoding (Allgemeines zu Perl)

[thread]19322[/thread]

Webseite lesen und Inhalt speichern - Probleme mit encoding

Tags: perl5 encoding utf8 html lesen Ähnliche Threads

Leser: 14

Articles: hide open all | hide show old branches

+8 replies
entepa

2014-10-04 23:37
User since
2014-10-04
1 Artikel
BenutzerIn
Hallo,
ich versuche eine Webseite zu lesen und den HTML-Inhalt in einer Datei zu speichern. Sämtliche Umlaute etc. werden in der Datei jedoch völlig zerschossen angezeigt. Wenn ich jedoch z.B. den String
Code: (dl )

my content = "ä";
in die Datei schreibe, wird es richtig angezeigt, sprich beim Schreiben gibt es keine Probleme. Es muss also schon beim Einlesen Probleme geben. Dazu konnte ich leider keine funktionierende Lösung finden.
Mein Code:
Code: (dl )

1 2 3 4 5 6 7 8 9

my $request = HTTP::Request->new(GET => $url); $request->referer($referer); my $response = $ua->request($request); my $content = $response->decoded_content; #my $content = "ä"; open(CONTENTFILE, ">:encoding(UTF-8)", "$dir/$page"); print CONTENTFILE $content; close(CONTENTFILE);
Vielen Dank für eure Hilfe!
Last edited: 2014-10-04 23:47:02 +0200 (CEST)
- +2 replies
- bianca
  
  2014-10-05 06:31
  
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  
  Wenn die gecrawlte Seite nicht in UTF-8 vorliegt muss sie erst gewandelt werden.
  Versuchs mal mit encode('utf8',decode('ZEICHENSATZ_DER_SEITE',$response->decoded_content)).
  
  Oben im Script ein use Encode qw(decode encode);.
  Als 'ZEICHENSATZ_DER_SEITE' vermute ich mal ein 'iso-8859-1' oder 'iso-8859-15' aber das lässt sich im Quelltext der Seite nachsehen.
  
  Zum lesen: Zeichenkodierungen oder „Warum funktionieren meine Umlaute nicht?”
  10 print "Hallo"
  20 goto 10
  - pq
    
    2014-10-06 11:47
    
    User since
    2003-08-04
    12208 Artikel
    Admin1
    
    2014-10-05T04:31:09 bianca
    Wenn die gecrawlte Seite nicht in UTF-8 vorliegt muss sie erst gewandelt werden.
    Versuchs mal mit encode('utf8',decode('ZEICHENSATZ_DER_SEITE',$response->decoded_content)).
    
    zweimal decode hintereinander? warum das? decoded_content liefert doch schon dekodiert. dafür isses ja da.
    Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
    lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- +3 replies
- rosti
  
  2014-10-05 08:31
  
  User since
  2011-03-19
  3472 Artikel
  BenutzerIn
  
  Bezüglich Zeichenkodierung musst Du gar nichts machen: So wie die Seite (Datei) in der Response gesendet wird, kannst Du sie auch als Datei speichern. Die Response ist also eine Datei.
  - +2 replies
  - bianca
    
    2014-10-05 08:38
    
    User since
    2009-09-13
    7016 Artikel
    BenutzerIn
    
    Und wieso sind die Umlaute verstümmelt?
    10 print "Hallo"
    20 goto 10
    - rosti
      
      2014-10-05 10:30
      
      User since
      2011-03-19
      3472 Artikel
      BenutzerIn
      
      2014-10-05T06:38:36 bianca
      Und wieso sind die Umlaute verstümmelt?
      
      Eine HTTP-Response enthält Rohdaten (Bytes). Das Modul Encode ist hier völlig fehl am Platze, wenn Rohdaten bereits vorliegen und in eine Datei geschrieben werden sollen. Das Bekanntgeben einer Zeichenkodierung am IO-Layer ist nur dann erforderlich, wenn keine Rohdaten vorliegen, sondern kodierte Zeichenketten. Perl unterscheidet dies seit Version 5.6.
- GwenDragon
  
  2014-10-05 11:12
  
  User since
  2005-01-17
  14748 Artikel
  Admin1
  
  Warum willst du die Daten als UTF-Stream in die Datei schreiben? Ich dachte, du willst das Original holen?
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- pq
  
  2014-10-06 11:50
  User since
  2003-08-04
  12208 Artikel
  Admin1
  Dann erstmal debugging!
  
  Code (perl): (dl )
  
  1 2
  
  use Devel::Peek; Dump $content;
  
  blind mit utf-8 rumspielen macht keinen spass.
  wie lautet der zeichensatz der seite? ist der korrekt angegeben? das muss er sein, damit decoded_content auch das richtige liefern kann.
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem

View all threads created 2014-10-04 23:37.