Hilfe bei charset und use utf8 (gelöst) (Allgemeines zu Perl)

[thread]19186[/thread]

Hilfe bei charset und use utf8 [gelöst]

Tags: perl5 Ähnliche Threads

Leser: 15

Articles: hide open all | hide show old branches

+11 replies
bianca

2014-07-09 19:10
User since
2009-09-13
7016 Artikel
BenutzerIn
Irgendwie hab ich hier ein für mich im Moment nicht ersichtliches Problem. Habe das ganze mal vereinfacht.
Es gibt drei Komponenten:
test_charset3.pl -> Definition von Konstanten mit Umlauten
test_charset2.pl -> eine Art Bibliothek die test_charset3.pl required
test_charset1.pl -> Hauptprogramm, das bei test_charset2.pl per LWP::UserAgent was anfordert

test_charset1.pl ist vorgegeben in charset "ANSI", kann ich nichts dran ändern. Weitere Vorgabe ist, dass der Browser zwingend ISO-8859-15/latin9 zu bekommen hat.
test_charset2.pl und test_charset3.pl kann ich ändern, sind in der jetzigen Versuchsanordnung in UTF-8 gespeichert. Alles mit Notepad++ auf Windows 7.

Der Fehler: Wenn ich in Script 2 oder 3 oder in beiden oben das use utf8; aktiviere erhalte ich
Code: (dl )

Wide character in subroutine entry at D:/meinpfad/test_charset1.pl line 21
Warum ist das so, ich verstehe das nicht?

Bitte stellenweise nicht über die unnützen Kommandos wundern, das ist ein reduzierter Nachbau. Ich möchte nur wissen, warum das use utf8; hier zu einem Fehler führt.
Dabei ist übrigens egal, ob ich die Scripte mit oder ohne BOM speichere, es kommt trotzdem der Fehler. Ich dachte, ich hätte den Artikel Zeichenkodierungen

Scripte:
more (15.9kb)

modedit Editiert von pq: skripte in more-tag gepackt
Last edited: 2014-07-10 14:02:52 +0200 (CEST)
10 print "Hallo"
20 goto 10
- +4 replies
- rosti
  
  2014-07-09 20:15
  
  User since
  2011-03-19
  3492 Artikel
  BenutzerIn
  
  Die "wide character..." Warnung kriegst Du immer dann, wenn eine Zeichenkette in ein HANDLE gegeben werden soll, die Warnung weist Dich darauf hin, dass für IO grundsätzlich eine byte-semantic vorliegen muss. Falls möglich, setze den IO-Layer auf die Kodierung Deiner Zeichenkette oder nutze das Pragma use bytes;
  - +3 replies
  - bianca
    
    2014-07-10 07:56
    
    User since
    2009-09-13
    7016 Artikel
    BenutzerIn
    
    2014-07-09T18:15:38 rosti
    dass für IO grundsätzlich eine byte-semantic vorliegen muss.
    
    Ja, das hab ich auch an mehreren Stellen gelesen aber ich kann im Script 1 nicht generell STDIN ändern, weil ich nicht weiß, welche Auswirkungen das auf die übrigen Funktionen hat, die ich nicht anfassen möchte. Ich hab hier ja nur einen stark reduzierten Ausschnitt gezeigt mit dem das Problem nachstellbar ist.
    
    2014-07-09T18:15:38 rosti
    Falls möglich, setze den IO-Layer auf die Kodierung Deiner Zeichenkette oder nutze das Pragma use bytes;
    
    Wie kann ich das denn lokal nur auf diese eine Sache anwenden ohne das übrige Script zu tangieren?
    10 print "Hallo"
    20 goto 10
    - +2 replies
    - rosti
      
      2014-07-10 11:12
      
      User since
      2011-03-19
      3492 Artikel
      BenutzerIn
      
      Mit
      
      Code (perl): (dl )
      
      1 2
      
      use utf8; my $s = 'äöüß';
      
      wird $s zu einer UTF-8-kodierten Zeichenkette (String), wobei die dazugehörigen Bytes als Binary direkt aus Deinem Script glesen werden.
      
      Mit dem Pragma use bytes; nimmst Du Einfluss auf das Verhalten nachfolgender Stringfunktionen, d.h., ein use bytes; schaltet zur Bytesemantic und ein no bytes; schaltet wieder zur Character-Semantic.
      
      Hier ist die Übung:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10
      
      use utf8; my $s = 'äöüß'; say length $s; # 4 use bytes; say length $s; # 8 no bytes; say length $s; # 4
      
      Bei Deinen Scripts und eingebundenen Modulen solltest Du stets wissen, wann eine Character- oder Bytesemantic erforderlich ist. Da ich mit nicht sicher bin, wie sich das JSON-Modul diesbezüglich verhält, würde ich vor dem Aufruf der entsprechenden Methoden einfach das Pragma use bytes; setzen und schauen, was passiert.
      
      Wenn ICH unbeding mit JSON arbeiten müsste, würde ich mir mal das Modul JSON näher anschauen. Ansosnten gibt es andere Möglichkeiten, Daten für den Transport so zu verpacken, dass das unabhängig von einer Zeichenkodierung ist (Tags: binary-safe, Lowlevel-Algorithmen http://rolfrost.de/zykl.html ).
      - pq
        
        2014-07-10 14:01
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        2014-07-10T09:12:48 rosti
        Mit
        
        Code (perl): (dl )
        
        1 2
        
        use utf8; my $s = 'äöüß';
        
        wird $s zu einer UTF-8-kodierten Zeichenkette (String)
        
        dekodiert, nicht kodiert.
        
        ist dasselbe wie:
        
        Code (perl): (dl )
        
        1 2
        
        use Encode; my $s = decode_utf8('äöüß');
        
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- +6 replies
- Raubtier
  
  2014-07-09 20:40
  User since
  2012-05-04
  1076 Artikel
  BenutzerIn
  Naja, Zeile 21, in der der Fehler kommt, ist ja die 2. hier:
  
  Code (perl): (dl )
  
  1 2
  
  my $content = $response->decoded_content; my $ref = JSON->new->utf8->decode($content);
  
  Aus perldoc JSON:
  
  Quote
  decode_json
  $perl_scalar = decode_json $json_text
  
  The opposite of "encode_json": expects an UTF-8 (binary) string and tries to parse that as an UTF-8 encoded JSON text, returning the
  resulting reference.
  
  This function call is functionally identical to:
  
  $perl_scalar = JSON->new->utf8->decode($json_text)
  
  Und aus perldoc HTTP::Response:
  
  Quote
  $r->decoded_content( %options )
  This will return the content after any "Content-Encoding" and charsets have been decoded. See HTTP::Message for details.
  
  Ersteres will aber einen binary string, du gibst aber einen decodeten String rein. Du darfst JSON also nicht von utf8-binary konvertieren lassen. Sollte also wohl my $ref = JSON->new->utf8(0)->decode($content); heißen.
  
  Edit: siehe auch den Abschnitt "HOW DO I DECODE A DATA FROM OUTER AND ENCODE TO OUTER" im Perldoc. Da ist beschrieben, wie man einen schon decodeten String mit JSON liest.
  Last edited: 2014-07-09 20:44:18 +0200 (CEST)
  - +5 replies
  - bianca
    
    2014-07-10 07:52
    
    User since
    2009-09-13
    7016 Artikel
    BenutzerIn
    
    2014-07-09T18:40:32 Raubtier
    Du darfst JSON also nicht von utf8-binary konvertieren lassen. Sollte also wohl my $ref = JSON->new->utf8(0)->decode($content); heißen.
    
    Den Gedanken hatte ich auch schon aber sobald ich ->utf8(0) schreibe oder ->utf8 weglasse erhalte ich:
    
    Quote
    Use of uninitialized value $out in concatenation (.) or string at test_charset1.pl line 27
    
    10 print "Hallo"
    20 goto 10
    - +4 replies
    - Raubtier
      
      2014-07-10 09:38
      
      User since
      2012-05-04
      1076 Artikel
      BenutzerIn
      
      Ok, also nächste Stelle. Guck doch mal, was du vor dem IConv hast. Offenbar ist dein $out doch undef. Ich kenne mich mit dem IConv-Modul nicht aus, aber da es mit from und to 2 Kodierungen angibt, denke ich nicht, dass es mit decodeten Strings arbeitet.
      
      Versuch doch stattdessen auch mal statt
      
      Code (perl): (dl )
      
      1 2
      
      my $converter = Text::Iconv->new('UTF-8','ISO-8859-15'); $out = $converter->convert($out);
      
      dieses hier:
      
      Code (perl): (dl )
      
      1 2
      
      use Encode qw(encode); $out = encode('ISO-8859-15', $out);
      
      Ansonsten guck doch mal zwischendrin nach, was da gerade in den Variablen steht.
      
      Edit: in dem von dir verlinkten Artikel ist auch kein Text::Iconv zu finden.
      Last edited: 2014-07-10 10:00:32 +0200 (CEST)
      - +3 replies
      - bianca
        
        2014-07-10 10:21
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        OK, neues Script 1:
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44
        
        #!/usr/bin/perl -w use strict 1.04; use warnings 1.06; use CGI 3.52; use LWP::UserAgent; use HTTP::Request::Common 'POST'; use JSON 2.53; use Text::Iconv; use Data::Dumper; use 5.010; # dieses Script wird in Notepad++ als "ANSI" gespeichert open(my $f,">test_charset_debug.txt"); my $test = POST( 'http://www.lokalerserver.de/test_charset2.pl', Content_Type => 'form-data', Content => [ dummy => 'foo', ], ); my $userAgent = LWP::UserAgent->new(); my $response = $userAgent->request($test); my $content = $response->decoded_content; say $f ('#'x20)."\nZeile ".__LINE__."\n$content"; my $ref = JSON->new->utf8->decode($content); my %test = %$ref; my $out = ''; foreach my $k (keys %test) { $out .= $test{$k} } say $f ('#'x20)."\nZeile ".__LINE__."\n$out"; my $converter = Text::Iconv->new('UTF-8','ISO-8859-15'); $out = $converter->convert($out); say $f ('#'x20)."\nZeile ".__LINE__."\n$out"; print STDOUT CGI->new->header(-charset=>'ISO-8859-15').<<HTML_TEIL <doctype html> <html> <head> <meta http-equiv="content-type" content="text/html;charset=ISO-8859-15"> </head> <body> <pre>$out</pre> </body> </html> HTML_TEIL ;
        
        Ergebnis mit UTF-8 bei JSON:
        #################### Zeile 24 {"1":"\"Ã¶Ã¤Ã¼Ã–Ã„Ãœâ‚¬@ÃŸ\"","2":"\"Ã¶Ã¤Ã¼Ã–Ã„Ãœ@â‚¬ÃŸ\""} #################### Zeile 29 "Ã¶Ã¤Ã¼Ã–Ã„Ãœâ‚¬@ÃŸ""Ã¶Ã¤Ã¼Ã–Ã„Ãœ@â‚¬ÃŸ" #################### Zeile 32 "öäüÖÄÜ¤@ß""öäüÖÄÜ@¤ß"
        
        Ergebnis mit ->utf8(0):
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8
        
        #################### Zeile 24 {"1":"\"öäüÖÄÜ€@ß\"","2":"\"öäüÖÄÜ@€ß\""} #################### Zeile 29 "öäüÖÄÜ€@ß""öäüÖÄÜ@€ß" #################### Zeile 32
        
        Test mit
        
        Code (perl): (dl )
        
        1 2 3 4
        
        #my $converter = Text::Iconv->new('UTF-8','ISO-8859-15'); #$out = $converter->convert($out); $out = encode('ISO-8859-15',$out); say $f ('#'x20)."\nZeile ".__LINE__."\n$out";
        
        :
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8 9
        
        #################### Zeile 25 {"1":"\"öäüÖÄÜ€@ß\"","2":"\"öäüÖÄÜ@€ß\""} #################### Zeile 30 "öäüÖÄÜ€@ß""öäüÖÄÜ@€ß" #################### Zeile 34 "ö__ÖÄÜ€@ß""ö__ÖÄÜ@€ß"
        
        10 print "Hallo"
        20 goto 10
        
        bianca
        
        2014-07-10 10:53
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Ah Moment, ich hab mich vertan.
        10 print "Hallo"
        20 goto 10
        
        bianca
        
        2014-07-10 10:56
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        So gehts:
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43
        
        #!/usr/bin/perl -w use strict 1.04; use warnings 1.06; use CGI 3.52; use LWP::UserAgent; use HTTP::Request::Common 'POST'; use JSON 2.53; use Data::Dumper; use 5.010; use Encode qw(encode); # dieses Script wird in Notepad++ als "ANSI" gespeichert open(my $f,">test_charset_debug.txt"); my $test = POST( 'http://www.meinlokalerserver.de/test_charset2.pl', Content_Type => 'form-data', Content => [ dummy => 'foo', ], ); my $userAgent = LWP::UserAgent->new(); my $response = $userAgent->request($test); my $content = $response->decoded_content; say $f ('#'x20)."\nZeile ".__LINE__."\n$content"; my $ref = JSON->new->decode($content); my %test = %$ref; my $out = ''; foreach my $k (keys %test) { $out .= $test{$k} } say $f ('#'x20)."\nZeile ".__LINE__."\n$out"; $out = encode('ISO-8859-15',$out); say $f ('#'x20)."\nZeile ".__LINE__."\n$out"; print STDOUT CGI->new->header(-charset=>'ISO-8859-15').<<HTML_TEIL <doctype html> <html> <head> <meta http-equiv="content-type" content="text/html;charset=ISO-8859-15"> </head> <body> <pre>$out</pre> </body> </html> HTML_TEIL ;
        
        Danke euch!
        10 print "Hallo"
        20 goto 10

View all threads created 2014-07-09 19:10.