Encoding - Wie funktioniert das? (gelöst) (Allgemeines zu Perl)

[thread]18790[/thread]

Encoding - Wie funktioniert das? [gelöst]

Tags: perl5 encoding Ähnliche Threads

Leser: 24

Articles: hide open all | hide show old branches

+17 replies
giordano

2013-12-04 11:11
User since
2011-04-29
16 Artikel
BenutzerIn
Hallo,

Ich habe mich durchgelesen ins encoding und konnte für mein Problem keine Lösung finden. Ich muss auch gestehen, dass ich das nicht trivial finde und eigentlich immer noch nicht verstehe.
Grundsätzlich möchte ich die ersten 100 Zeilen eines xml files, das angeblich mit utf-16 codiert ist, herauslesen. Grund: das File ist zu gross und ich möchte Einblick in die ersten Zeile erhalten. Den Code den ich verwende:
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27

use warnings; use strict; use Encode qw(encode decode); use Cwd; my $enc = 'UTF-16'; my $dir0 = getcwd; my $file = "x.xml"; open INPUT, "<:encoding($enc)", "$dir0/$file" or die "File $file not found!"; open OUTPUT, ">$dir0/first100_$file" or die "File first100_$file not found!"; open STDERR, ">results_error.log" or die "Can't open log"; my $i = 0; while (<INPUT>) { if ( $i < 100 ) { print OUTPUT $_; # (1) # print OUTPUT decode($enc,$_); # (2) # print OUTPUT encode($enc,$_); # (3) $i++; } } close INPUT; close OUTPUT; close STDERR;
Ich habe die verschiedenen Szenarien durchgespielt, weil mir nicht klar ist, wie wo was codiert ist. Hier die Resultate:

------------------------------
x.xml-file:

<?xml version="1.0" encoding="utf-16"?>

<meldung><konsultation><konsdate>2010-03-17</konsdate><patid>11205</patid><patyear>1970</patyear><patgender>male</patgender><arzt>7601000238436</arzt><diagnose><icpc>P06</icpc></diagnose></konsul
.....

-- (1) --
print OUTPUT $_;

output:
㰿硭氠癥牳楯渽∱⸰∠敮捯摩

log:
leer

-- (2) --
print OUTPUT decode($enc,$_);

output:
leer

log:
UTF-16:Unrecognised BOM 3c3f at C:/strawberry/perl/lib/Encode.pm line 176, <INPUT> line 1.

-- (3) --
print OUTPUT encode($enc,$_);

output:
<?xml version="1.0" encoding="utf-16"?>

૾＀㰀洀攀氀搀甀渀最㸀㰀欀漀
渀猀甀氀琀愀琀椀漀渀㸀㰀欀漀渀猀搀愀琀攀㸀㈀　㄀　ⴀ　㌀ⴀ㄀㜀㰀⼀欀漀渀
猀搀愀琀攀㸀㰀瀀愀琀椀搀㸀㄀㄀㈀　㔀㰀⼀瀀愀琀椀搀㸀㰀瀀愀琀礀攀愀爀㸀
㄀㤀㜀　㰀⼀瀀愀琀礀攀愀爀㸀

log:
leer
------------------------------

Mir ist nicht klar, was da abläuft. Entweder ist der Output leer oder es erscheinen chinesischen Zeichen.
Vielleicht kann mir jemand einen Hinweis geben.
Besten Dank
giordano
- +3 replies
- Gast wer
  
  2013-12-04 11:35
  
  Mit "<:encoding(UTF-16)" sagst du perl: Hey perl die datei ist UTF-16 Wandle das in das perlinterne Format.
  Perl benutzt intern eine Abart von UTF-8.
  Das selbe kannst du auch bei der Ausgabe machen ">:encoding(UTF-16)". Damit sagts du perl: Hey wandle die perlkodierten Daten in UTF-16 und schreibe sie in die Datei.
  encode('UTF-16',$str); sagt: nimm den perlintern formatierten String und wandle ihn in UTF-16
  decode('UTF-16',$str); sagt: hey der String ist UTF-16 wandle das in das perlinterne Format.
  Last edited: 2013-12-04 11:44:49 +0100 (CET)
  - +2 replies
  - giordano
    
    2013-12-04 22:17
    
    User since
    2011-04-29
    16 Artikel
    BenutzerIn
    
    Besten Dank für die verständliche Ausführung. Offenbar ist die Schreibweise UTF-16 und nicht utf-16. Werde das ändern und bescheid sagen (erst Montags).
    - bianca
      
      2013-12-05 08:10
      
      User since
      2009-09-13
      7016 Artikel
      BenutzerIn
      
      2013-12-04T21:17:54 giordano
      Offenbar ist die Schreibweise UTF-16 und nicht utf-16. Werde das ändern und bescheid sagen (erst Montags).
      
      Wo ändern? Im Script ist es doch richtig: my $enc = 'UTF-16'
      Ach in der XML? Ich glaube nicht, dass das case sensitive ist: http://stackoverflow.com/a/3252004
      
      Editiert von bianca: Link
      Last edited: 2013-12-05 08:13:20 +0100 (CET)
      10 print "Hallo"
      20 goto 10
- +5 replies
- bianca
  
  2013-12-04 11:36
  
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  
  Wenn du die Datei mit Notepad ++ öffnest, welche Codierung zeigt NP++ dann an?
  10 print "Hallo"
  20 goto 10
  - +2 replies
  - GwenDragon
    
    2013-12-04 12:00
    
    User since
    2005-01-17
    14754 Artikel
    Admin1
    
    Das nutzt nichts, Notepad++ macht nur UTF-8 und UCS2-BE bzw. -LE.
    UTF-16 ist aber leicht anders. BOM oder nicht BOM, das ist hir die Frage.
    http://search.cpan.org/~dankogai/Encode/Unicode/Un...
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
    - bianca
      
      2013-12-05 08:09
      
      User since
      2009-09-13
      7016 Artikel
      BenutzerIn
      
      Stimmt. Hatte nicht im Kopf, dass UTF-16 garnicht geht, als ich das schrieb.
      10 print "Hallo"
      20 goto 10
  - +2 replies
  - giordano
    
    2013-12-04 22:27
    
    User since
    2011-04-29
    16 Artikel
    BenutzerIn
    
    Wenn ich es mit Emacs öffne (habe kein Notepad++), dann zeigt es UTF-16 an, siehe die ersten Zeilen von x.xml in meiner Fragestellung. Aber vermutlich meinst Du etwas anderes mit Deiner Frage.
    - bianca
      
      2013-12-05 08:08
      
      User since
      2009-09-13
      7016 Artikel
      BenutzerIn
      
      Bei NP++ ist es so, wenn ich eine Datei öffne kann ich im Menü auf Kodierung klicken und bekomme dann in Form eines markierten Untermenüpunkts angezeigt, wie diese Datei kodiert ist. Aber in der Tat kann es kein UTF-16, wie ich auch gerade sehe.
      Ziehe die Frage zurück.
      10 print "Hallo"
      20 goto 10
- +3 replies
- GwenDragon
  
  2013-12-04 12:24
  
  User since
  2005-01-17
  14754 Artikel
  Admin1
  
  Hast du mal mit od oder hd.pl nachgesehen, ob ein BOM vorhanden ist?
  
  Meiner Meinung nach muss bei XML-Daten, wenn sie eine XML-Deklaration haben, keinen BOM vorhanden sein.
  
  Und welche Zielkodierung soll denn die Ausgabe-Datei haben?
  Last edited: 2013-12-04 12:25:51 +0100 (CET)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +2 replies
  - giordano
    
    2013-12-04 22:31
    
    User since
    2011-04-29
    16 Artikel
    BenutzerIn
    
    Ich werde noch die Hexadecimal-Darstellung liefern, um das ganze Bild zu liefern. Was ist od? Am Montag versuche ich mal das hd.pl.
    
    Besten Dank an alle.
    - GwenDragon
      
      2013-12-05 09:23
      
      User since
      2005-01-17
      14754 Artikel
      Admin1
      
      od ist das Programm, das in oktal oder hex o. ä. Dateien dumpen kann.
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +4 replies
- giordano
  
  2013-12-09 16:56
  User since
  2011-04-29
  16 Artikel
  BenutzerIn
  Ich arbeite mit Windows7 (sorry, hatte es vergessen). Ich habe aufgrund des Kommentars:
  
  Quote
  Mit "<:encoding(UTF-16)" sagst du perl: Hey perl die datei ist UTF-16 Wandle das in das perlinterne Format.
  Perl benutzt intern eine Abart von UTF-8.
  Das selbe kannst du auch bei der Ausgabe machen ">:encoding(UTF-16)". Damit sagts du perl: Hey wandle die perlkodierten Daten in UTF-16 und schreibe sie in die Datei.
  
  den Code umgestaltet:
  
  Code: (dl )
  
  1 2 3 4 5 6 7
  
  open INPUT, "<:encoding($enc)", "$dir0/$file" or die "File $file not found!"; open OUTPUT, ">:encoding($enc)", "$dir0/first100_$file" or die "File $file not found!"; while (<INPUT>) { my $row_str2 = substr($_,0,500); print OUTPUT $row_str2; }
  
  INPUT:
  <?xml version="1.0" encoding="utf-16"?>
  
  <meldung><konsultation><konsdate>2010-03-17</konsdate><patid>11205</patid><patyear>1970</patyear><patgender>male</patgender><arzt>7601000238436</arzt><diagnose><icpc>P06</icpc></diagnose>
  
  Der Input (hexadecimal code) ist mit EMACS:
  INPUT 1 2 3 4 5 6 7 8
  00000000: fffe 3c00 3f00 7800 6d00 6c00 2000 7600 ..<.?.x.m.l. .v.
  00000010: 6500 7200 7300 6900 6f00 6e00 3d00 2200 e.r.s.i.o.n.=.".
  00000020: 3100 2e00 3000 2200 2000 6500 6e00 6300 1...0.". .e.n.c.
  00000030: 6f00 6400 6900 6e00 6700 3d00 2200 7500 o.d.i.n.g.=.".u.
  00000040: 7400 6600 2d00 3100 3600 2200 3f00 3e00 t.f.-.1.6.".?.>.
  00000050: 0d00 0a00 3c00 6d00 6500 6c00 6400 7500 ....<.m.e.l.d.u.
  00000060: 6e00 6700 3e00 3c00 6b00 6f00 6e00 7300 n.g.>.<.k.o.n.s.
  
  und der Output:
  <?xml version="1.0" encoding="utf-16"?>
  
  ਀㰀洀攀氀搀甀渀最㸀㰀欀漀渀猀甀氀琀愀琀椀漀渀㸀㰀欀漀渀猀搀愀琀攀㸀㈀　㄀　ⴀ　㌀ⴀ㄀㜀㰀⼀欀
  
  Hexadecimal (EMACS):
  OUTPUT 1 2 3 4 5 6 7 8
  00000000: feff 003c 003f 0078 006d 006c 0020 0076 ...<.?.x.m.l. .v
  00000010: 0065 0072 0073 0069 006f 006e 003d 0022 .e.r.s.i.o.n.=."
  00000020: 0031 002e 0030 0022 0020 0065 006e 0063 .1...0.". .e.n.c
  00000030: 006f 0064 0069 006e 0067 003d 0022 0075 .o.d.i.n.g.=.".u
  00000040: 0074 0066 002d 0031 0036 0022 003f 003e .t.f.-.1.6.".?.>
  00000050: 000d 000d 0a00 3c00 6d00 6500 6c00 6400 ......<.m.e.l.d.
  00000060: 7500 6e00 6700 3e00 3c00 6b00 6f00 6e00 u.n.g.>.<.k.o.n.
  
  Offenbar finden da Veränderungen wärend des Umcodierens statt:
  1) Zeile 0 / Kolonne 1: fffe -> feff
  2) Zeile 0 / ab Kolonne 2: Einschiebung von 00
  3) Zeile 5 / Kolonne 2: Einschiebung 000d
  
  Wie kann ich das vermeiden?
  
  Vielleicht noch zur Vorgeschichte: Die XML file sind sehr gross und würde gerne die ersten Zeilen herausschreiben und lesen. Dabei taucht eben dieses Codierungsproblem auf.
  - +3 replies
  - GwenDragon
    
    2013-12-09 18:22
    
    User since
    2005-01-17
    14754 Artikel
    Admin1
    
    Dein Input sieht nach UCS-2BE aus, nicht UTF-16!
    
    Also musst du das beim Einlesen der Datei nehmen!
    
    Weiteres:
    http://pic.dhe.ibm.com/infocenter/iseries/v7r1m0/i...
    http://en.wikipedia.org/wiki/Universal_Character_S...
    http://www.unicode.org/faq/basic_q.html
    Last edited: 2013-12-09 18:31:20 +0100 (CET)
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
    - +2 replies
    - Gast wer
      
      2013-12-10 13:35
      
      Es ist UTF-16BE. Das ist das offizielle UCS-2BE.
      Benutze Encode::Unicode Das wertet auch das BOM aus.
      $data=Encode::Unicode::decode("UTF-16", $data);
      BOM: Byte Order Mark
      Darum geht das auch ohne "BE"
      Last edited: 2013-12-10 13:56:35 +0100 (CET)
      - GwenDragon
        
        2013-12-10 16:15
        
        User since
        2005-01-17
        14754 Artikel
        Admin1
        
        Interessant, nur habe ich kein Problem damit. Du hast der falschen Person geantwortet. ;)
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- giordano
  
  2014-09-03 09:19
  
  User since
  2011-04-29
  16 Artikel
  BenutzerIn
  
  Mittlwerweile hat sich das eigentliche Problem gelöst. Das XML war fehlerhaft. Besten Dank allen beteiligten für die Hilfe. Ich habe etwas dazu gelernt.

View all threads created 2013-12-04 11:11.