"Wide character in print" klären (gelöst) (Allgemeines zu Perl) - Perl-Community.de

Start · Board · Anwendungen/Programme/Skripte in Perl · Allgemeines zu Perl

2024-11-28 03:08:19
Europe/Berlin
Einloggen (Registrieren)
- Einstellungen
- Statistics
Jemand zu Hause?
0 Benutzer online
4 Gäste

[thread]19627[/thread]

submit to reddit

"Wide character in print" klären [gelöst]

[gelöst]

Tags: perl5 Ähnliche Threads

Leser: 19

Articles: hide open all | hide show old branches

+25 replies
bianca

2015-04-26 11:25
User since
2009-09-13
7016 Artikel
BenutzerIn
Hallo!
Ein Script hat vor ein paar Tagen eine Datei geschrieben. Wenn ich das Script in Notepad++ öffne und auf Menü "Kodierung" klicke ist der Punkt bei "ANSI". Es wurde auf Windows erstellt.
Die Datei wurde in diesem Script so geschrieben:
Code (perl): (dl )

1 2 3

sysopen($fh,$datei,O_WRONLY|O_APPEND|O_CREAT); binmode($fh,':utf8'); ...
Wenn ich nun die Datei mit diesem Script mittels
Code (perl): (dl )

1 2 3 4 5

open(my $fh,'<',"$datei"); binmode($fh,':utf8'); local $/ = "\n"; my $content = <$fh>; ...
öffne und $content an den Browser gebe, wirft es 'Wide character in print...'.

In der Datei, um die es da geht finde ich auf Sicht den Grund für die Fehlermeldung nicht.
Frage: Wie kann ich feststellen, welche(s) Zeichen in der Datei konkret zu dieser Fehlermeldung führt/führen?
10 print "Hallo"
20 goto 10
- +5 replies
- pq
  
  2015-04-26 13:13
  
  User since
  2003-08-04
  12208 Artikel
  Admin1
  
  http://perlgeek.de/de/artikel/charsets-unicode
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - +4 replies
  - bianca
    
    2015-04-26 13:17
    
    User since
    2009-09-13
    7016 Artikel
    BenutzerIn
    
    Ja, den kenne ich. Da steht unter Troubleshooting "Wide Character" - Warnungen:
    Quote
    Abhilfe schafft es, den String vorher mit Encode::encode oder einem entsprechenden Output-Layer zu kodieren.
    
    Dann weiß ich aber immer noch nicht, welches Zeichen Schuld ist. Ich will ja im Ursprung den Fehler beheben, daher muss ich wissen, welches Zeichen quer liegt.
    10 print "Hallo"
    20 goto 10
    - +3 replies
    - pq
      
      2015-04-26 13:23
      
      User since
      2003-08-04
      12208 Artikel
      Admin1
      
      da liegt kein zeichen quer, du musst einfach nur den output enkodieren.
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - bianca
        
        2015-04-26 13:25
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Neee. Das Script legt hunderte von Dateien auf die selbe Art und Weise ab. Nur in einer davon kommt diese Fehlermeldung, und den Ursprung will ich finden, weil das abgestellt werden soll.
        10 print "Hallo"
        20 goto 10
      - bianca
        
        2015-04-26 14:28
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Das hab ich jetzt trotzdem mal probiert:
        
        Code (perl): (dl )
        
        1 2 3 4
        
        open(my $fh,'<',"$datei"); binmode($fh,':utf8'); local $/ = "\n"; my @log = encode('ISO-8859-1',<$fh>);
        
        Fehlermeldung "Wide character in print..." bleibt. Ist das falsch? Wie macht man das richtig?
        10 print "Hallo"
        20 goto 10
- +2 replies
- hlubenow
  
  2015-04-26 19:43
  
  User since
  2009-02-22
  875 Artikel
  BenutzerIn
  
  2015-04-26T09:25:49 bianca
  Frage: Wie kann ich feststellen, welche(s) Zeichen in der Datei konkret zu dieser Fehlermeldung führt/führen?
  
  Ich würde mir mal mit ord() die Werte der Zeichen anzeigen lassen. Vielleicht ist da was dabei, das weit außerhalb der Reihe ist.
  - bianca
    
    2015-04-26 21:11
    User since
    2009-09-13
    7016 Artikel
    BenutzerIn
    
    Danke für den Tipp, ein sehr interessantes Ergebnis!
    Hab es mal so gemacht:
    
    Code (perl): (dl )
    
    1 2 3 4 5 6 7
    
    my $max = 0; my $min = 9999; foreach my $char (split //,$content) { my $ord = ord($char); $max = $ord if $ord > $max; $min = $ord if $ord < $min; }
    
    Sowohl meine "kaputte" Datei mit "Wide character in print..." als auch eine Vergleichsdatei die mit dem selben Script auf dem selben Server und mit dem selben Code geschrieben wurde liegen zwischen Min. 10 und Max. 252.
    Was kann ich daraus ableiten? Ich verstehe das einfach nicht. Bin den zweiten vollen Tag jetzt an diesem Problem und dreh mich die ganze Zeit im Kreis. Ich weiß einfach nicht, was an der kaputten Datei kaputt ist.
    10 print "Hallo"
    20 goto 10
- +6 replies
- GwenDragon
  
  2015-04-27 08:46
  User since
  2005-01-17
  14748 Artikel
  Admin1
  Testcase t.zip
  
  t.pl:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11
  
  #!/usr/bin/perl use strict; use warnings; my $datei = 't.txt'; open(my $fh,'<',"$datei"); binmode($fh,':utf8'); local $/ = "\n"; my $content = <$fh>; print $content;
  
  und Textdatei t.txt (Windows-ANSI-kodiert) mit
  
  Code: (dl )
  
  Ä
  
  ergibt:
  utf8 "\xC4" does not map to Unicode at T:\t.pl line 10, <$fh> line 1. Wide character in print at T:\t.pl line 11, <$fh> line 1. ─
  
  Was hast du genau vor mit deinem Programm?
  Warum binmode mit Encoding?
  Welche Quellkodierung hat denn deine Datei?
  Anhänge
  
  application/zip
  t.zip
  
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +5 replies
  - bianca
    
    2015-04-27 12:03
    User since
    2009-09-13
    7016 Artikel
    BenutzerIn
    
    2015-04-27T06:46:57 GwenDragon
    und Textdatei t.txt (Windows-ANSI-kodiert) mit Ä
    
    Ja, das weiß ich. Klar. Wenn man eine ANSI Datei als UTF-8 öffnet muss das knallen. Aber das tue ich ja nicht bzw. ich gehe davon aus, dass ich das nicht tue. Die Datei wurde ursprünglich am 10.04. - wie im Eingangspost erwähnt - mit diesem Code erzeugt:
    
    Code (perl): (dl )
    
    1 2
    
    sysopen($fh,$datei,O_WRONLY|O_APPEND|O_CREAT); binmode($fh,':utf8');
    
    2015-04-27T06:46:57 GwenDragon
    Was hast du genau vor mit deinem Programm?
    
    Es handelt sich dabei um eine Art Logfile, das mein eigenes Script schreibt. Da fließen allerdings auch Meldungen aus anderen Quellen ein. Diese Quellen sind aber eigentlich alle UTF-8 auf Linux. Das Ganze läuft jetzt seit März 2014 und nie gab es ein Wide character Fehler. Erst jetzt am 10.04. trat das auf. Davor und danach ist das wieder nicht.
    
    Und dieses Logfile wird halt zu irgendeinem späteren Zeitpunkt nach Bedarf mit
    
    Code (perl): (dl )
    
    1 2 3
    
    open(my $fh,'<',"$datei"); binmode($fh,':utf8'); local $/ = "\n";
    
    gelesen und zum Browser geworfen.
    
    2015-04-27T06:46:57 GwenDragon
    Warum binmode mit Encoding?
    
    Dies ist ja nicht meine erste Frage zum Thema Zeichenkodierung :) Diese Syntax hab ich irgendwann irgendwo aufgeschnappt, soll ich die Stelle suchen? Wie gesagt, bis zum 10.04. lief das ein gutes Jahr wunderbar.
    
    2015-04-27T06:46:57 GwenDragon
    Welche Quellkodierung hat denn deine Datei?
    
    Ich gehe von UTF-8 aus, denn sie wurde mit
    
    Code (perl): (dl )
    
    1 2
    
    sysopen($fh,$datei,O_WRONLY|O_APPEND|O_CREAT); binmode($fh,':utf8');
    
    erzeugt.
    10 print "Hallo"
    20 goto 10
    - +2 replies
    - GwenDragon
      
      2015-04-27 12:53
      
      User since
      2005-01-17
      14748 Artikel
      Admin1
      
      ich habe damit nicht sagen wollen, dass du völlig ahnungslos bist. ;)
      
      Mit ':utf8' wird aber nur ein Flag gesetzt, dass es UTF ist, während ':encoding(UTF-8)' es auch prüft.
      
      Ganz interessant dazu: http://stackoverflow.com/questions/627661/how-can-...
      Last edited: 2015-04-27 12:56:35 +0200 (CEST)
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - bianca
        
        2015-04-27 19:33
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2015-04-27T10:53:56 GwenDragon
        Mit ':utf8' wird aber nur ein Flag gesetzt, dass es UTF ist, während ':encoding(UTF-8)' es auch prüft.
        
        Ändert an der Fehlermeldung und an der Ausgabe nichts, das ü sieht so aus: durchfÃŒhren
        
        2015-04-27T10:53:56 GwenDragon
        Ganz interessant dazu: http://stackoverflow.com/questions/627661/how-can-...
        
        Extrem viel engl. Text. Was davon kann ich denn auf meine Frage anwenden?
        10 print "Hallo"
        20 goto 10
    - +2 replies
    - hlubenow
      
      2015-04-27 17:33
      
      User since
      2009-02-22
      875 Artikel
      BenutzerIn
      
      Hmm, ich weiß nicht genau, was ich da tue, aber probier doch mal statt
      
      Code (perl): (dl )
      
      binmode($fh,':utf8');
      
      dieses:
      
      Code (perl): (dl )
      
      binmode($fh,':encoding(Unicode)');
      
      Last edited: 2015-04-27 17:35:01 +0200 (CEST)
      - bianca
        
        2015-04-27 19:30
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2015-04-27T15:33:57 hlubenow
        dieses:
        
        Code (perl): (dl )
        
        binmode($fh,':encoding(Unicode)');
        
        Fehlermeldung Wide character bleibt und zusätzlich sind die Umlaute anders, ein ü sieht so aus: durchfÃƒÅ’hren
        
        Mit binmode($fh,':utf8') sieht das bei der einen fehlerhaften Datei so aus: durchfÃŒhren
        
        Und normalerweise bei allen anderen Dateien die auf die selbe Art und Weise geschrieben wurden ist es ganz normal lesbar.
        10 print "Hallo"
        20 goto 10
- +2 replies
- bianca
  
  2015-04-28 07:32
  
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  
  Zig Stunden für garnichts verbraten.
  
  Die Lösung: in der Anzeige war noch ein anderer Text. Und da steckte genau der Fehler drin. Das konnte ich nicht sehen, weil das verdeckt war, daher schob ich die ganze Zeit dem sichtbaren Text die Schuld zu. Zum Mäuse melken!
  Danke euch vielmals für die Unterstützung!
  
  Bleibt noch eine letzte Frage: auf Linux klappt jetzt auch für den anderen Text binmode($fh,':encoding(UTF-8)') hervorragend.
  Auf Windows (nur auf Win) bringt dieser Code allerdings sowas: ausgef\x81hrt
  Was ist \x81 und kann ich das konvertieren?
  Wenn ich das mit binmode($fh,':encoding(Unicode)') einlese kommt wieder Wide character und ausgefÂhrt raus. Muss das mehrfach behandelt werden?
  10 print "Hallo"
  20 goto 10
  - bianca
    
    2015-04-28 07:37
    
    User since
    2009-09-13
    7016 Artikel
    BenutzerIn
    
    Nachtrag: das ausgef\x81hrt ist auch immer verbunden mit
    Quote
    utf8 "\x81" does not map to Unicode at D:/pfad/script.pl line x.
    
    10 print "Hallo"
    20 goto 10
- +3 replies
- bianca
  
  2015-04-29 06:42
  
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  
  Nochmal die Frage: Wie kann ich ausgef\x81hrt bei Fehler utf8 "\x81" does not map to Unicode at D:/pfad/script.pl line x. korrekt decodieren?
  10 print "Hallo"
  20 goto 10
  - +2 replies
  - GwenDragon
    
    2015-04-29 18:33
    
    User since
    2005-01-17
    14748 Artikel
    Admin1
    
    Wenn du die Inhalte mit Kodierung Windows-1252 geschrieben hast, kannst du doch bei open gleich '<:encoding(windows1252)' schreiben und bei der Ausgabe bei STDOUT den binmode auf ':encoding(windows1252)' auf setzen.
    
    Was willst du denn genau erreichen?
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
    - bianca
      
      2015-04-30 07:40
      
      User since
      2009-09-13
      7016 Artikel
      BenutzerIn
      
      Im Moment, wo ich dir antworten wollte fiel mir die Lösung ein.
      Hintergrund: das ist eine Fremdanwendung (eine .exe) die auf STDOUT schreibt. Läuft die auf Linux in Wine kommt da UTF-8 in der Datei an. Läuft sie hingegen auf Windows ist es CP850.
      
      Das scheint aber mit binmode($fh,':encoding(CP850)') nicht zu klappen, zumindest sind damit alle Umlaute kaputt.
      
      Daher benutze ich an der Stelle jetzt wieder das gute alte Text::Iconv.
      
      Code (perl): (dl )
      
      1 2 3
      
      use Text::Iconv 1.7; my $converter = Text::Iconv->new('CP850','ISO-8859-15'); $content = $converter->convert($content);
      
      Danke euch fürs Mitdenken!
      10 print "Hallo"
      20 goto 10
- +6 replies
- rosti
  
  2015-04-29 18:32
  
  User since
  2011-03-19
  3474 Artikel
  BenutzerIn
  
  In einer Datei sind bytes gespeichert und genauso, wie bytes in eine Datei geschrieben werden, gibst du die auch im Browser aus. (Layer auf :raw belassen).
  
  (War lange nicht hier, ich hatte einen Schlaganfall, das Schreiben fällt mir schwer).
  - payx
    
    2015-04-29 21:45
    
    User since
    2006-05-04
    564 Artikel
    BenutzerIn
    
    Hallo rosti,
    
    2015-04-29T16:32:11 rosti
    ... ich hatte einen Schlaganfall ...
    
    GUTE BESSERUNG!!!
    
    Wünscht von Herzen
    payx
  - +3 replies
  - bianca
    
    2015-04-30 07:37
    
    User since
    2009-09-13
    7016 Artikel
    BenutzerIn
    
    2015-04-29T16:32:11 rosti
    (War lange nicht hier, ich hatte einen Schlaganfall, das Schreiben fällt mir schwer).
    
    Ich wünsche dir von Herzen gute Genesung!
    10 print "Hallo"
    20 goto 10
    - rosti
      
      2015-04-30 09:56
      
      User since
      2011-03-19
      3474 Artikel
      BenutzerIn
      
      Danke für Genesungswünsche! Ich hatte > 1000 Schutzengel und meine Frau hat rechtzeiig Hilfe geholt.
      
      Zum Thema: die FM kommt, wenn kodierte Zeichenketten nach STDOUT oder FileHandle gegeben werden, tritt bei den Umlauten meist nicht auf, jedoch beim €-Zeichen u.a. UTF-8-kodierten Zeichen ab 3 bytes.
      
      ggf. hilft ein use bytes vor dem print, idealerweise werden in Handle nur Bytesequenzen ausgegeben (:raw) und das gilt auch für STDOUT.
      
      --rosti
    - hlubenow
      
      2015-04-30 21:40
      
      User since
      2009-02-22
      875 Artikel
      BenutzerIn
      
      Oh je. Auch von mir gute Besserung!
      
      Hauke
  - GwenDragon
    
    2015-04-30 11:43
    
    User since
    2005-01-17
    14748 Artikel
    Admin1
    
    @rosti
    Willkommen zurück.
    
    Herzliche Gesundungswünsche auch von mir. Sei froh, dass der Rettungswagen für dich rechtzeitig/schnell kam, ist nicht immer so. Da kannst du schon mal merhfach trotz Halbseite telefonieren und stundenlang warten. Hatte ich selbst auch schon mit einem leichten Stroke. Nur Glück gehabt und leichte linksseitige Probleme.
    Last edited: 2015-04-30 11:45:29 +0200 (CEST)
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View all threads created 2015-04-26 11:25.