Umlautproblematik (gelöst) (Allgemeines zu Perl) - Perl-Community.de

Start · Board · Anwendungen/Programme/Skripte in Perl · Allgemeines zu Perl

2024-11-26 15:56:17
Europe/Berlin
Einloggen (Registrieren)
- Einstellungen
- Statistics
Jemand zu Hause?
0 Benutzer online
3 Gäste

[thread]18683[/thread]

submit to reddit

Umlautproblematik [gelöst]

[gelöst]

Tags: perl5 utf-8 Zeichensatz Umlaute Ähnliche Threads

Leser: 31

Articles: hide open all | hide show old branches

+27 replies
Gast Andy

2013-10-18 14:53

Hallo!

Umlaute und Zeichensatzkodierungen sind etwas, was ich überhaupt nicht mag, aber nun muss ich mich damit auseinandersetzen.

Folgendes Problem habe ich:
Ich bekomme eine Textdatei geliefert. Wenn ich diese im Editor (Notepad++) öffne, werden mir alle Umlaute korrekt dargestellt. Ich sehe unten rechts, dass folgendes eigestellt ist "Dos\Windows | ANSI".

Ich verarbeite diese Datei mit PERL und schreibe Werte aus dieser Datei in eine MSSQL-Datenbank.
Wenn das Werte mit Umlauten betrifft, werden diese UTF-8(?) kodiert in die Datenbank abgelegt. Wenn ich mir mit dem SQL-Management-Studio eine Zeile der Tabelle anzeigen lasse, sieht das dann so aus "SÃ¼d", statt "Süd".

Die Verarbeitung passiert per Windows-Konsole. Aber auch wenn ich das PERL-Programm direkt in Notepad++ starte (gut, Notepad++ reicht das wohl am Ende auch nur an die Konsole durch), bekomme ich Probleme bei den Umlauten.

Ich kann jetzt für mich nicht nachvollziehen bzw. verstehe auch nicht, warum und an welcher Stelle sich die Kodierung ändert.

Wenn ich bspw. direkt im Managementstudio den SQL-Befehl "INSERT INTO windrichtungen (windrichtung) VALUES ("Süd")" ausführe, wird alles korrekt eingetragen.

Könnt ihr mir einen Lösungsansatz für das Problem geben bzw. soagr sagen, an welchen Stellen sich bspw. die Kodierung ändern könnte, so dass das dann zu solchen Änderungen bei der Kodierung kommt?

Vielen Dank,
Andy
Last edited: 2013-10-18 15:33:15 +0200 (CEST)
- +7 replies
- GwenDragon
  
  2013-10-18 15:54
  
  User since
  2005-01-17
  14748 Artikel
  Admin1
  
  Ist ist sinnvoll von Vornherein die Datenbank mit UTF-kodierten Daten aufzubauen.
  
  1) Was ist bei deiner MSSQL-Datenbank denn als Standardzeichensatz eingestellt? Windwos-1252?
  
  2) Wie schreibst du die Daten mit Perl in die Datenbank?
  Last edited: 2013-10-18 15:55:59 +0200 (CEST)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +6 replies
  - Gast Andy
    
    2013-10-18 16:28
    2013-10-18T13:54:34 GwenDragon
    Ist ist sinnvoll von Vornherein die Datenbank mit UTF-kodierten Daten aufzubauen.
    
    Hm, das ist jetzt nicht mehr möglich. Die Datenbank ist schon seit langem im produktiven Betrieb und recht komplex und eine Änderung, nur wegen meines Problemes, nicht möglich.
    
    2013-10-18T13:54:34 GwenDragon
    1) Was ist bei deiner MSSQL-Datenbank denn als Standardzeichensatz eingestellt? Windwos-1252?
    
    Der Admin sagt "Ansi".
    
    2013-10-18T13:54:34 GwenDragon
    2) Wie schreibst du die Daten mit Perl in die Datenbank?
    
    Mit
    
    Code (perl): (dl )
    
    1 2 3 4
    
    use Win32::ODBC; .... $sqlStatement = "[gespeicherte Prozedur auf dem MSSQL Server, der die Werte übergeben werden]"; $db->Sql($sqlStatement);
    
    Danke,
    Andy
    Last edited: 2013-10-18 16:34:32 +0200 (CEST)
    - bianca
      
      2013-10-18 16:48
      
      User since
      2009-09-13
      7016 Artikel
      BenutzerIn
      
      Guest Andy
      Der Admin sagt "Ansi".
      
      Ich glaube, er meint ISO-8859.
      
      Dann würde es heißen müssen: Text::Iconv->new('CP850','ISO-8859-15')
      Sollte klappen. Probier mal nur zum Test.
      10 print "Hallo"
      20 goto 10
    - +4 replies
    - GwenDragon
      
      2013-10-18 17:16
      
      User since
      2005-01-17
      14748 Artikel
      Admin1
      
      Ein Admin sollte schon wissen, was ein Zeichensatz/Encoding einer Datenbank ist.
      
      Es gibt kein ANSI-Zeichensatz.
      Ich vermute, der meint Windows-1252, denn das verstand Microsoft unter "ANSI".
      
      Eingabeaufforderung und Windows selbst haben unterscbhiedeliche Kodierung!
      Windwos http://de.wikipedia.org/wiki/Windows-1252#Windows-...
      DOS-Konsole http://de.wikipedia.org/wiki/Codepage_850
      Last edited: 2013-10-18 17:19:34 +0200 (CEST)
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - +3 replies
      - bianca
        
        2013-10-18 17:24
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2013-10-18T15:16:39 GwenDragon
        Eingabeaufforderung und Windows selbst haben unterscbhiedeliche Kodierung!
        
        Hab ich doch schon geschrieben.
        10 print "Hallo"
        20 goto 10
        
        +2 replies
        
        GwenDragon
        
        2013-10-18 17:29
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        Mit viel gutem Willen kann das so interpretiert werden.
        
        Mein Hinweis auf den Unterschied habe ich aber umfangreicher erläutert, mit Links zum Nachlesen garmniert.
        
        Dein Tipp mit Iconv: ISO-8859-15 ist da auch nicht so das Wahre unter Windows.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        bianca
        
        2013-10-18 17:32
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2013-10-18T15:29:13 GwenDragon
        Dein Tipp mit Iconv: ISO-8859-15 ist da auch nicht so das Wahre unter Windows.
        
        Stimmt. Habe hin und wieder Dateien, wo das Ding scheitert. Leider konvertiert es dann garnichts anstatt wenigstens die eindeutigen Zeichen zu konvertieren.
        Was wäre besser geeignet?
        10 print "Hallo"
        20 goto 10
- pq
  
  2013-10-18 16:02
  
  User since
  2003-08-04
  12208 Artikel
  Admin1
  
  als lektüre zum verständnis empfehle ich http://perlgeek.de/de/artikel/charsets-unicode
  wenn du in der lage bist, nachzuvollziehen, an welcher stelle du welche kodierung vorliegen hast, kannst du besser debuggen.
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- +11 replies
- bianca
  
  2013-10-18 16:15
  
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  
  Vielleicht ist das Codepage 850?
  Text::Iconv->new('CP850','UTF-8') klappt bei solchen Dateien bei mir relativ gut. Aber in eval{} ausführen, es kann auch scheitern.
  10 print "Hallo"
  20 goto 10
  - +10 replies
  - thecoder2012
    
    2013-10-20 05:13
    
    User since
    2013-02-04
    64 Artikel
    BenutzerIn
    
    2013-10-18T14:15:53 bianca
    Vielleicht ist das Codepage 850?
    Text::Iconv->new('CP850','UTF-8') klappt bei solchen Dateien bei mir relativ gut. Aber in eval{} ausführen, es kann auch scheitern.
    
    Darf ich Fragen mit welcher Fehlermeldung es ohne eval{} scheitert?
    - +9 replies
    - bianca
      
      2013-10-20 06:21
      
      User since
      2009-09-13
      7016 Artikel
      BenutzerIn
      
      Weiß ich nicht mehr.
      Versuch es mit irgend einer Binärdatei, dann sollte er auftreten.
      10 print "Hallo"
      20 goto 10
      - +8 replies
      - Gast Andy
        
        2013-10-21 16:15
        
        Hallo in die Runde und danke noch mal für all die Infos. Hatte über das Wochenende damit ja einiges zum Lesen :)
        
        Und ich habe jetzt noch etwas ausprobiert, was mich aber noch verrückter werden lässt.
        
        1.) Ich öffne die Textdatei mit Perl und schreibe die Werte in eine Datenbanktabelle auf dem MS SQL-Server. Umlaute sehen nach dem Speichern in der Datenbank beim Ansehen der Tabelle mit dem "SQL-Server-Management-Studio" ganz normal aus, so wie ich es haben möchte.
        Lasse ich mir das entsprechende Sql-Statement, welches die Daten in die Datenbanktabelle schreibt, auf der Konsole ausgeben, sehe ich die Umlaute da aber "zerstört".
        
        2.) Greife ich nun mit einem weiteren Perl-Programm lesend auf die Tabelle zu und lasse mir die ausgelesenen Daten in die Konsole ausgeben, sind hier die Umlaute "zerstört".
        
        Schreibe ich die Werte jetzt in eine weitere Tabelle, auf dem selben Server/ selbe Datenbank wie die erste Tabelle, werden die Umlaute da jetzt aber "zerstört" abgespeichert.
        
        Warum beim Speichern in der ersten Tabelle dies nicht passiert, sondern die Umlaute korrekt abgespeichert werden, erschließt sich mir nicht.
        
        Alle Datenbankzugriffe erfolgen per Win32::ODBC.
        
        Kann ich evtl. beim Datenbank-Connect einen Zeichensatz mit angeben? Oder kann ich dem Perl-Programm sagen, dass es alle Daten in einem bestimmten Zeichensatz zu verarbeiten hat?
        
        Ich habe jetzt selbst auch noch mal nachgeforscht, welcher Zeichensatz auf dem Server eingestellt ist. Microsoft gibt da "iso_1" an, was gleichbedeutend mit "8859-1" sein soll.
        
        Einen Unterschied beim Schreiben der Daten gibt es. Bei 1.) erfolgt das Einfügen der Daten in die Tabelle per INSERT-Befehl, bei 2.) dann per Stored Procedure (die aber am Ende auch ein INSERT macht). Vielleicht ist ja wirklich das das Problem, was ich dann aber auch nicht nachvollziehen könnte. Was dann aber letztlich nicht hier ins Perl-Board gehört.
        
        Auch wenn die Ausgabe auf der Konsole die selbe ist, habe ich dann noch einen Unterschied festgestellt. Notepad++ zeigt mir für das Perl-Programm von 1.) an, dass das Programm selbst in der Kodierung "ANSI als UTF-8" vorliegt. Für das Programm aus 2.) dann aber in Kodierung "ANSI".
        
        Doch in welcher Kodierung auch immer das Programm selbst abgespeichert ist, dies dürfte doch keinen Einfluss auf die Verarbeitung der Daten haben, oder?
        
        Vielen Dank,
        Andy
        Last edited: 2013-10-21 16:17:54 +0200 (CEST)
        
        +7 replies
        
        bianca
        
        2013-10-21 16:48
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Doch, die Kodierung des Scriptes hat Auswirkungen.
        Was du beschreibst ist alles ganz normal und korrekt soweit es die Teile ohne DB betrifft, davon habe ich keine Ahnung.
        
        Hast du meinen Tipp mal probiert?
        
        Übrigens ist das ISO -15 besser als die -1 geeignet (wenn es ISO unbedingt sein soll), weil es auch das Euro-Zeichen beinhaltet.
        10 print "Hallo"
        20 goto 10
        
        +2 replies
        
        Gast Andy
        
        2013-10-21 17:39
        
        Hallo Bianca!
        
        Deinen Tipp wollte ich heute testen, aber das Text::IConv-Modul ist nicht installiert. Muss ich erst beim Admin beantragen.
        
        Auch hier wieder vielen Dank für deine Antwort.
        
        PS: Finde ich evtl. irgendwo einen Text etc. darüber, dass die die Kodierung des Scripts Auswirkungen hat? Ich kann mir das gar nicht vorstellen. So ein Script muss doch auf allen Rechnern/ Servern gleich laufen?!
        
        bianca
        
        2013-10-21 17:55
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Guest Andy
        Deinen Tipp wollte ich heute testen, aber das Text::IConv-Modul ist nicht installiert. Muss ich erst beim Admin beantragen.
        
        Kannst du in dein Userverzeichnis kopieren und mit use lib einbinden. Braucht nicht installiert zu werden.
        
        Guest Andy
        PS: Finde ich evtl. irgendwo einen Text etc. darüber, dass die die Kodierung des Scripts Auswirkungen hat? Ich kann mir das gar nicht vorstellen. So ein Script muss doch auf allen Rechnern/ Servern gleich laufen?!
        
        http://perlgeek.de/en/article/encodings-and-unicod...
        10 print "Hallo"
        20 goto 10
        
        +4 replies
        
        Raubtier
        
        2013-10-21 20:21
        
        User since
        2012-05-04
        1075 Artikel
        BenutzerIn
        
        2013-10-21T14:48:30 bianca
        Doch, die Kodierung des Scriptes hat Auswirkungen.
        
        Welche denn?
        
        Wenn man im Script, wie beschrieben, nur Dateien einliest und wieder ausgibt, sollte die Script-Kodierung doch irrelevant sein, oder nicht?
        
        Da das Speichern richtig funktioniert, bekommst du beim Lesen offenbar etwas anderes als erwartet. Vermutlich musst du die gelesenen Daten erst dekodieren und dann für dein Ausgabe-Charset kodieren, also etwa so:
        
        Code: (dl )
        
        1 2 3
        
        use Encode; $aus_datenbank = ...; print encode("kodierung auf der Konsole", decode("kodierung aus der DB", $aus_datenbank));
        
        +3 replies
        
        topeg
        
        2013-10-26 11:59
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        Ja Grundsätzlich hat die Kodierung des Scriptes keinen Einfluss auf Datensätze die gelesen/geschrieben werden. Aber schon ein $val="$string" kann perl gewaltig durcheinander bringen. Angenommen $string hat das utf8-Flag. Ohne use utf8 hat $val keines. Das bedeutet es stehen zwar utf8 Daten drin, werden aber nicht so behandelt. Bei Ausgaben wird es als "binär-String" behandelt und es wird keine Konvertierung gemacht. Bei $val=$string dagegen wird das Flag mit kopiert. All diese Probleme umgeht man wenn use utf8 benutzt und man konsequent alle ein/ausgaben durch die en/dekodierung schickt.
        
        Das Problem ist halt das einige Module dies intern nicht durchhalten und selber "müll" produzieren bzw. Strings zurück geben die nicht utf8 sind der utf8 sind aber das Flag nicht haben. So was kann man immer nur von Fall zu Fall handhaben.
        
        +2 replies
        
        pq
        
        2013-10-26 12:10
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        2013-10-26T09:59:06 topeg
        Ja Grundsätzlich hat die Kodierung des Scriptes keinen Einfluss auf Datensätze die gelesen/geschrieben werden. Aber schon ein $val="$string" kann perl gewaltig durcheinander bringen. Angenommen $string hat das utf8-Flag. Ohne use utf8 hat $val keines.
        
        das stimmt so nicht. wenn perl zwei strings konkatenieren muss, wird berücksichtigt, in welcher kodierung sie vorliegen.
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12
        
        $ perl -wE' use Encode; use Devel::Peek; my $string = decode_utf8("täst"); my $val = "$string"; Dump $val;' SV = PV(0x186ad58) at 0x1889bc8 REFCNT = 1 FLAGS = (PADMY,POK,pPOK,UTF8) PV = 0x1956d50 "t\303\244st"\0 [UTF8 "t\x{e4}st"] CUR = 5 LEN = 8
        
        wie man sieht, hat $val nun auch das utf8-flag.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        topeg
        
        2013-10-26 12:45
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        OK ein "Downgrade" findet nicht mehr satt. Stattdessen kommt es zu einem "Upgrade":
        
        Code: (dl )
        
        perl -MEncode -MDevel::Peek -wE 'my $str1 = decode_utf8("täst"); my $str2=encode("ISO-8859-15",decode_utf8("TÜSTE")); Dump($str1); Dump($str2); my $val = "$str1$str2"; Dump $val;'
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
        
        SV = PV(0x8536840) at 0x8552130 REFCNT = 1 FLAGS = (PADMY,POK,pPOK,UTF8) PV = 0x85d7d40 "t\303\244st"\0 [UTF8 "t\x{e4}st"] CUR = 5 LEN = 12 SV = PV(0x85d3498) at 0x85520cc REFCNT = 1 FLAGS = (PADMY,POK,pPOK) PV = 0x8556298 "T\334STE"\0 CUR = 5 LEN = 12 SV = PV(0x85d34b0) at 0x85d6a04 REFCNT = 1 FLAGS = (PADMY,POK,pPOK,UTF8) PV = 0x85a6260 "t\303\244stT\303\234STE"\0 [UTF8 "t\x{e4}stT\x{dc}STE"] CUR = 11 LEN = 12
        
        Das verhalten ist mir neu. Das ISO-Byte wird zu einer utf8-Node. Wobei das nicht immer funktionieren muss. Ich meine früher wurde nicht konvertiert ( perl < 5.8 ). Gut zu wissen. Wobei ich mich nicht darauf verlassen würde, das das immer funktioniert.
        Bei Binärdaten muss ich jetzt also genau anders herum aufpassen, nicht das ein Binärstring plötzlich das utf8-flag bekommt und in der Ausgabe ungewollt konvertiert wird.
- +7 replies
- rosti
  
  2013-10-25 19:59
  
  User since
  2011-03-19
  3472 Artikel
  BenutzerIn
  
  Hi Andy,
  
  dieses Kapitel habe ich im Jahr 2001 aufgeschlagen. Gerne gebe ich meine diesbezüglichen Erfahrungen weiter, also was die Fehlersuche betrifft, lies mal hier
  http://rolfrost.de/bytes.html
  den letzten Abschnitt.
  
  ODBC: Da habe ich lange nichts gemacht damit. Muss ich mir gelegentlich mal wieder anschauen ;)
  
  --Rosti
  - +6 replies
  - Gast Andy
    
    2013-12-02 12:09
    
    Hallo!
    
    Wollte mich noch einmal abschliessend melden. Ich habe das Problem nicht grundlegend klären können, ich habe alle Datenbankaufrufe auf das DBI-Modul umgestellt, vorher habe ich WIN32::ODBC genutzt.
    Jetzt tritt das Problem nicht mehr auf, was jetzt DBI anders macht - keine Ahnung.
    
    Noch mal vielen Dank für eure Unterstützung hier im Thread/ Forum!
    
    Andy
    Last edited: 2013-12-02 12:33:08 +0100 (CET)
    - +5 replies
    - bianca
      
      2013-12-02 12:50
      
      User since
      2009-09-13
      7016 Artikel
      BenutzerIn
      
      Hattest du dir Text::Iconv vom Admin mal installieren lassen und es getestet?
      10 print "Hallo"
      20 goto 10
      - +4 replies
      - Gast Andy
        
        2013-12-02 13:46
        
        Ja, habe ich probiert. Damit habe ich leider keine Erfolge erzielen können.
        
        Viele Grüße,
        Andy
        Last edited: 2013-12-02 13:51:04 +0100 (CET)
        
        +3 replies
        
        bianca
        
        2013-12-02 16:16
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Wurde nichts konvertiert oder kam eine Fehlermeldung vom Modul?
        10 print "Hallo"
        20 goto 10
        
        +2 replies
        
        Gast Andy
        
        2013-12-03 13:11
        
        Es wurde nichts konvertiert.
        Last edited: 2013-12-03 13:19:08 +0100 (CET)
        
        bianca
        
        2013-12-03 14:09
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Dann bin ich ziemlich sicher, dass da noch grundlegend etwas schief läuft.
        10 print "Hallo"
        20 goto 10

View all threads created 2013-10-18 14:53.