Probleme mit UTF-8 (gelöst) (Allgemeines zu Perl)

[thread]17529[/thread]

Probleme mit UTF-8 [gelöst]

Tags: perl5 Ähnliche Threads

Leser: 24

Articles: hide open all | hide show old branches

+8 replies
thommyb

2012-07-02 17:40
User since
2012-07-02
2 Artikel
BenutzerIn
Perl und Arbeitsumgebung:
Ich arbeite mit Eclipse und EPIC und ActiveState Perl 5.12.3 unter Vista 64-bit.

Problem:
Ich kriege nach dem Einlesen einer Datei bei Umlauten und Akzenten nur Garbage. Die Datei wird aus stored procedures auf einem Sybase Server erstellt. Der output ist explizit als UTF-8 deklariert. Mein Editor (Notepad++) zeigt bei den Codierungen auch UTF korrekt an.

Das Problem muss wohl in Perl liegen, da scheine ich was falsch zu machen. Hier mein Code:
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

use strict; use locale; use Encode; use File::stat; use File::Basename; use File::Copy; use File::Spec; binmode(STDOUT, ":utf8"); $LogFile = "e:\\downloads\\Protokoll_2012-06-06.txt"; open(LOGFILE, "<:encoding(UTF-8)", $LogFile) or die("Could not open log file."); foreach $line (<LOGFILE>) { #do things with every line / record # beispielsweise: # some code ...... print "Line: ".$lineno.": ".$line; } close(LOGFILE);
Und im Debugger sieht der Inhalt von $line so aus:

\x{FEFF}\x{FEFF}UPDATED;10;aktiv;2548254;1243286;Fahrlehrer-Berufsschule Zürich;Trockenloostrasse;91;8105;Regensdorf;0;;;;

Was die HEX Werte am Anfang jeder Zeile sollen, weiss ich nicht, aber immerhin scheint er den Umlaut im Wort Zürich korrekt zu interpretieren.

Ganz schlecht sieht aber der Output in der Console (Resultat von print()) aus:

Line: 13: ï»¿UPDATED;10;aktiv;1306888;1243286;Fahrlehrer-Berufsschule ZÃ¼rich;Trockenloostrasse;91;8105;Regensdorf;0;;;;

Dies obwohl ich binmode(STDOUT, ":utf8"); am Anfang des Programms definiert habe und doch der output von print auch in UTF-8 konvertiert werden sollte.

Kann mir bitte jemand erklären, was ich hier falsch mache???
Last edited: 2012-07-02 17:43:24 +0200 (CEST)
- +4 replies
- Dubu
  
  2012-07-02 17:58
  
  User since
  2003-08-04
  2145 Artikel
  ModeratorIn + EditorIn
  
  Ich habe nicht direkt eine Lösung, aber das 0xFEFF sieht nach einem Byte Order Mark für UTF-16 oder UTF-32 aus. Bist du wirklich sicher, dass die Daten UTF-8(!) sind?
  - +3 replies
  - Molaf
    
    2012-07-03 08:40
    
    User since
    2007-10-11
    119 Artikel
    BenutzerIn
    
    Viele Editoren schreiben den BOM unabhängig von der Kodierung an den Anfang der Datei - zumindest bei Geany weiss ich das ganz sicher, weil ich das bei neuen Dateien immer wieder im Menu abschalten musste (trotz UTF-8).
    
    '<:encoding(utf8)' verwende ich statt UTF-8, näheres in perldoc Encode. Möglicherweise ist die eingelesene Datei auch nicht komplett UTF-8 konform, auch wenn Notepad++ das anzeigt.
    
    Wenn ein print in die Windows-Konsole von Vista Müll produziert, dann ist die womöglich noch stark mit der Konsole von XP verwandt. Dann kann man zumindest noch in latin1259 codieren (ich kann es für vista aber nur vermuten, nicht überprüfen).
    
    Gruß,
    Molaf
    - +2 replies
    - thommyb
      
      2012-07-03 09:11
      
      User since
      2012-07-02
      2 Artikel
      BenutzerIn
      
      Hallo Molaf,
      
      Ich glaube das ist ein Problem der Shell / Konsole. Habe den Output in eine Datei gelenkt und dort sieht alles korrekt aus. Habe auch festgestellt, dass der Output im Outputfenster von Eclipse anders aussieht als derjenige in der Vista Konsole. Sieht so aus, als ob jede Konsole Ihre eigene Codierung hat und den Output von perl entsprechend 'umwandelt'!
      
      Mühsam, aber ich kann mit dem output in die Datei gut leben.
      
      Danke für Deine Unterstützung!
      Thomas
      - bianca
        
        2012-07-03 09:25
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Unter Windows frage ich für solche Zwecke die Codepage ab mit my $codepage = qx (chcp); und wandle anschließend die Ausgabe entsprechend um mit Text::Iconv -> new ('UTF-8',"CP$codepage");
        Kannste ja mal versuchen, vielleicht hilft das was.
        10 print "Hallo"
        20 goto 10
- +3 replies
- Gast Muffi
  
  2012-07-03 08:46
  Vielleicht versteh ichs grad komplett falsch, aber muss dieses DOS-Box-Encodingszeugs nicht eher sowas sein:
  
  Code (perl): (dl )
  
  binmode(STDOUT, ":encoding(cp850)");
  
  Last edited: 2012-07-03 09:27:41 +0200 (CEST)
  - GUIfreund
    
    2012-07-03 11:43
    
    User since
    2011-08-08
    559 Artikel
    BenutzerIn
    
    cp850 ist IMHO der Standardwert der DOS-Shell. Damit die Umlaute richtig erscheinen, nehme ich cp1252.
    Gruß
    GUIfreund
  - GwenDragon
    
    2012-07-03 17:16
    
    User since
    2005-01-17
    14757 Artikel
    Admin1
    
    Muss nicht kann.
    
    Es gibt auch UTF-8.
    
    chcp 65001
    http://msdn.microsoft.com/en-us/library/windows/de...
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View all threads created 2012-07-02 17:40.