Zeichensatzproblem mit Š (gelöst) (Allgemeines zu Perl)

[thread]20626[/thread]

Zeichensatzproblem mit Š [gelöst]

Tags: perl5 Ähnliche Threads

Leser: 10

Articles: hide open all | hide show old branches

+16 replies
bianca

2019-06-07 19:07

User since
2009-09-13
7016 Artikel
BenutzerIn

Moin!

Geht um den Namen Gašper Šantl. Wird mittels jQuery .ajax() an meine Webseite und mein ANSI-Script übermittelt.

So kommt es über CGI laut Data::Dumper herein: Ga\305\241per \305 antl
Nun möchte ich das gern in ISO-8859-15/latin-9 verarbeiten und wandle deshalb mittels Encode::encode('ISO-8859-15',Encode::decode('UTF-8',$var)) um.

Ergebnis ist: Ga\250per ? antl

Das kleine š mit \250 ist richtig aber wieso ist das große Š falsch? Da erwarte ich ein \246.
Wo entsteht dieser Fehler?

Danke!
10 print "Hallo"
20 goto 10
- +14 replies
- haj
  
  2019-06-07 20:47
  
  User since
  2015-01-07
  558 Artikel
  BenutzerIn
  
  2019-06-07T17:07:51 bianca
  Das kleine š mit \250 ist richtig aber wieso ist das große Š falsch? Da erwarte ich ein \246.
  Wo entsteht dieser Fehler?
  
  Ich tippe auf eine falsche Reihenfolge beim dekodieren: Die Bytefolge des großen Š ist (hex) C5 A0. Das A0 ist, als Byte interpretiert, wie das Pech es so will, der Wert des NBSP (non-breaking-space), und wir sehen ja auch ein Leerzeichen nach dem \305 in der Ausgabe des Data::Dumper. Irgendwer interpretiert die Daten byte-weise und wandelt das NBSP in ein normales Blank um, bevor Du mit Deinem UTF8-Dekodieren zum Zug kommst.
  
  Wenn Du den Sündenbock nicht findest, der das vermeintliche NBSP in ein Leerzeichen verwandelt:
  Schau' Dir in der CGI-Dokumentation mal das Pragma -utf8 an: Damit übernimmt CGI das Dekodieren, hoffentlich bevor das NBSP in ein Leerzeichen umgewandelt wird. Dann darfst Du selbst natürlich nicht mehr dekodieren.
  - +13 replies
  - bianca
    
    2019-06-07 21:40
    
    User since
    2009-09-13
    7016 Artikel
    BenutzerIn
    
    2019-06-07T18:47:31 haj
    Irgendwer interpretiert die Daten byte-weise und wandelt das NBSP in ein normales Blank um, bevor Du mit Deinem UTF8-Dekodieren zum Zug kommst.
    
    Als ich das las fiel es mir wieder ein. Übeltäter gefunden und beseitigt. Danke dir!
    
    Ga\250per \246antl
    
    Nun die Frage, wie ich das Zeichen per Regex erwische. Bei diesem Regex matcht das große Š nicht. Das kleine hingegen schon. Warum ist das so?
    
    /[^0-9a-z @\.,_#+±%()\[\]\$\-~¿!'&§°¨ßäöüÅÄÁÀÃÂÖÜÚÉÈÑþœçáàåãâëéèêòóúùîïí©øØô½ñšŠý®¬µ¯]/
    10 print "Hallo"
    20 goto 10
    - +2 replies
    - haj
      
      2019-06-08 00:42
      
      User since
      2015-01-07
      558 Artikel
      BenutzerIn
      
      Da brauche ich schon etwas mehr Kontext, um weiterhelfen zu können. So kann ich nur sagen "bei mir funktioniert's!".
      
      Ich habe folgendes Programm verwendet:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
      
      use 5.020; use strict; use utf8; sub explain_chars { use charnames (); return join "\n", map { charnames::viacode(ord $_) } @_; } my $name = 'Gašper Šantl'; # no, that's not actually *my* name. my $regex = qr/[^0-9a-z @\.,_#+±%()\[\]\$\-~¿!'&§°¨ßäöüÅÄÁÀÃÂÖÜÚÉÈÑþœçáàåãâëéèêòóúùîïí©øØô½ñšŠý®¬µ¯]/; my (@matches) = $name =~ /$regex/g; say explain_chars(@matches);
      
      Die Ausgabe lautet erwartungsgemäß:
      
      Code: (dl )
      
      LATIN CAPITAL LETTER G
      
      ...denn außer dem großen G zu Beginn schließt die Regex alle Characters des Namens aus.
      
      Nachtrag: Mir ist gerade noch das Reizwort ANSI-Script aufgefallen. GwenDragon hat es schon mal gesagt:
      Quote
      ANSI ist keine Zeichen(satz)kodierung!
      
      Ich vermute, es handelt sich um Windows-1252, aber das ist gar nicht sooo wichtig. Entscheidend ist, dass das nicht der Standard-Zeichensatz von Perl ist. Perl verwendet ISO-Latin-1, und der Zeichensatz kennt weder
      š noch Š. Ich habe in meinem Beispiel eine UTF-8-Datei verwendet und das mit use utf8; deklariert, damit Perl die Literale 'š' und 'Š' so versteht, wie sie gemeint sind.
      
      Es gibt aber kein use ANSI; oder use Windows-1252;
      
      Wenn Du Dateien in einer Codierung ungleich ISO-Latin-1 speicherst und darin Literale verwendest, die außerhalb des gemeinsamen Zeichenvorrats liegen, dann musst Du diese Literale selbst decodieren, damit Perl sie "richtig" versteht. Auch wenn sie als Patterns in einem regulären Ausdruck verwendet werden sollen!
      
      Folgende Datei habe ich unter Windows CP 1252 abgespeichert:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
      
      use 5.020; use Encode; sub explain_chars { use charnames (); return join "\n", map { charnames::viacode(ord $_) } @_; } my $klein = 'š'; my $gross = 'Š'; say "Vor dem Dekodieren:"; say explain_chars($klein); say explain_chars($gross); $klein = decode('Windows-1252',$klein); $gross = decode('Windows-1252',$gross); say "Nach dem Dekodieren:"; say explain_chars($klein); say explain_chars($gross);
      
      Das ergibt beim Ablauf:
      
      Code: (dl )
      
      1 2 3 4 5 6
      
      Vor dem Dekodieren: SINGLE CHARACTER INTRODUCER LINE TABULATION SET Nach dem Dekodieren: LATIN SMALL LETTER S WITH CARON LATIN CAPITAL LETTER S WITH CARON
      
      Man sieht: Vor dem Dekodieren versteht Perl das, was Du als š eintippst, als SINGLE CHARACTER INTRODUCER, was auch immer das sein mag. Erst nach dem Dekodieren versteht Perl, was Du meinst.
      Last edited: 2019-06-08 12:00:56 +0200 (CEST)
      - rosti
        
        2019-06-09 08:26
        
        User since
        2011-03-19
        3500 Artikel
        BenutzerIn
        
        Moin, das war auch mein Denkfehler, daß ANSI == ISO-8859-15 ist. Von daher war auch mein erstes Codebeispiel fehlerhaft und nicht richtig getestet.
        
        Merke: Wenn im Notepad ANSI eingestellt ist, gilt die eingestellte Codepage.
        
        Und zur Ergänzung, wie man die Zeichen auch mit pack() erzeugen kann über den Codepoint:
        
        Code (perl): (dl )
        
        print "Š", encode("UTF-8", pack("U", 160));
        
        Da kommt also dasselbe raus. Beachte, daß für die print()Ausgabe die Kodierung auszuschalten ist, was encode() macht.
        
        MFG
    - +3 replies
    - rosti
      
      2019-06-08 08:40
      
      User since
      2011-03-19
      3500 Artikel
      BenutzerIn
      
      Du musst die Kodierung einschalten:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9
      
      use Encode; my $name = 'Šantl'; # Scriptdatei in ANSI!!! my $vname = 'Gašper'; # Kodierung einschalten $vname = decode('ISO-8859-15', $vname); $name = decode('ISO-8859-15', $name); $, = "\n"; print $name =~ /Š/i, $vname =~ /Š/i;
      
      dann klappts auch mit den RegExn. MFG
      
      PS: Wenn diese Strings nach draußen gehen, Kodierung wieder aussschalten!!!!
      Last edited: 2019-06-08 12:05:18 +0200 (CEST)
      - +2 replies
      - bianca
        
        2019-06-08 11:38
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Kodierung ist an.
        
        An der Stelle mit dem Regex sieht die Variable mit Data::Dumper so aus: Zala Kralj & Ga\250per \246antl
        
        Wiederum macht das kleine š mit \250 kein Problem aber das große mit \246.
        Warum ist das so?
        10 print "Hallo"
        20 goto 10
        
        rosti
        
        2019-06-08 11:57
        
        User since
        2011-03-19
        3500 Artikel
        BenutzerIn
        
        Wenn Du mit der Kodierung arbeiten willst (RegEx, Stringfunktionen usw.), musst Du sie einschalten. Das ist nicht nur in Perl so, sondern in jedem Programm was Texte verarbeitet. Außerhalb, also in Dateien oder Datenbanken oder beim Transport über HTTP gibt es keine Kodierung bzw. ist die Kodierung auszuschalten.
        
        Wir sagen zwar daß eine Datei UTF-8-kodiert ist, aber in Wirklichkeit weiß das die Datei gar nicht. Denn Dateien sind nur Bytesequenzen und die kennen gar keine Kodierung. Ebenso speichern Datenbanken nur Bytesequenzen und ebenso transportiert HTTP nur Bytesequenzen.
        
        Die Kodierung ist also nur eine Vereinbarung über die Transportstrecke hinweg. Mit meinem Code hab ich Dir gezeigt, wie eine RegEx /i nach dem Einschalten der Kodierung funktioniert. Sofern die Kodierung ausgeschaltet ist, funktioniert /i natürlich nicht. Mit meinem Code kannst Du das akkurat nachvollziehen, aber es kommt mehr auf das Verstehen an.
        
        Kopiere den Code, speichere die Datei in ANSI und melde Ergebnis. Und noch etwas: Perl unterscheidet seit v5.6 zwischen Bytesequenzen und kodierten Zeichenketten. Das Modul Encode ist seit v5.8 im Core.
        
        MFG
        
        PS: Wenn die Scriptdatei in utf-8-kodiert ist
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9
        
        use utf8; # Datei in UTF-8 my $name = 'Šantl'; my $vname = 'Gašper'; $, = "\n"; print $vname =~ /Š/i, # 1 $name =~ /š/i; # 1
        
        Und Korrektur betr. ISO:
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14
        
        use Encode; # Scriptdatei in ANSI, cp1250 my $name = 'Šantl'; my $vname = 'Gašper'; # Zeichenkodierung einschalten $vname = decode('cp1250', $vname); $name = decode('cp1250', $name); my $upper = decode('cp1250', 'Š'); my $lower = decode('cp1250', 'š'); $, = "\n"; print $vname =~ /$upper/i, $name =~ /$lower/i
        
        Last edited: 2019-06-08 12:44:41 +0200 (CEST)
    - +7 replies
    - bianca
      
      2019-06-08 19:38
      
      User since
      2009-09-13
      7016 Artikel
      BenutzerIn
      
      Danke an haj und rosti aber ich weiß, dass es so funktioniert wie von euch gezeigt aber in meinem Script geht es nicht. Dort kommen die beiden Zeichen laut Data::Dumper an, wie ich gezeigt habe aber ein und der selbe Regex reagiert nur auf das kleine š richtig. Warum nicht auch auf das große Š?
      
      Hiermit ist das reproduzierbar:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
      
      #!/usr/bin/perl use strict; use warnings; use Data::Dumper; local $Data::Dumper::Purity;$Data::Dumper::Purity = 1; local $Data::Dumper::Useqq;$Data::Dumper::Useqq = 1; local $Data::Dumper::Deparse = 1;$Data::Dumper::Deparse = 1; local $Data::Dumper::Sortkeys;$Data::Dumper::Sortkeys = sub { my ($hash) = @_; return [(sort {lc $a cmp lc $b} keys %$hash)]; }; use 5.010; my $name = "Zala Kralj & Ga\250per \246antl"; # no, that's not actually *my* name. my @liste; for (my $p = 0; $p < length($name); $p ++) { if (substr($name,$p,1) =~ /[^0-9a-z @\.,_#+±%()\[\]\$\-~¿!'&§°¨ßäöüÅÄÁÀÃÂÖÜÚÉÈÑþœçáàåãâëéèêòóúùîïí©øØô½ñšŠý®¬µ¯]/i) { push @liste,$p+1; } } say Dumper(\@liste);
      
      Das Script wurde in Notepad++ in der Kodierung "ANSI" gespeichert (daher meine Angabe "ANSI-Script") und soll das jeweilige Zeichen an jeder Position untersuchen und nicht zugelassene einzeln listen. Ergebnis ist 21, das ist das große Š. Warum bleibt das hängen und das kleine š nicht?
      10 print "Hallo"
      20 goto 10
      - +6 replies
      - haj
        
        2019-06-08 21:48
        
        User since
        2015-01-07
        558 Artikel
        BenutzerIn
        
        2019-06-08T17:38:34 bianca
        Danke an haj und rosti aber ich weiß, dass es so funktioniert wie von euch gezeigt aber in meinem Script geht es nicht. Dort kommen die beiden Zeichen laut Data::Dumper an, wie ich gezeigt habe aber ein und der selbe Regex reagiert nur auf das kleine š richtig. Warum nicht auch auf das große Š?
        
        Danke für das Beispiel! Das ganze ist mir nun schon klar.
        
        Du gibst in $name für š und Š die Byte-Werte im ISO-8859-15-Encoding an. Damit sind das für Perl, das Bytes nach ISO-8859-1 interpretiert, die Zeichen U+00A6 BROKEN BAR und U+00A8 DIAERESIS. Das ist schräg, könnte aber noch funktionieren, wenn Dein Notepad++ Dein Skript tatsächlich unter ISO-8859-15 abspeichern könnte, denn dann würde Perl in Deiner Regex š und Š genauso falsch interpretieren und die beiden Fehler würden sich gegenseitig aufheben.
        Aber: Notepad++ kann Dein Skript nicht unter ISO-8859-15 abspeichern. In ISO-8859-15 gibt es kein ½. Zeichenkodierungen, die sowohl š und Š als auch '½' anbieten, sind - wir hatten das schon - die Windows Codepages 1250 und 1252. Der Verdacht, dass Notepad++ eines dieser Encodings als "ANSI" verwendet, ist also nicht von der Hand zu weisen.
        
        Und nun schau' genau hin: Du hast ein U+00A8 DIAERESIS, ein '¨' in Deiner Regex. Und schon ist es weg, das ISO-LATIN-15-š. Das große hat einfach Pech gehabt. Du hast keinen BROKEN BAR in Deiner Regex.
        
        Das Resultat bleibt übrigens das gleiche, wenn Notepad++ Dein Skript unter UTF-8 abspeicherst, Du aber kein use utf8; drin hast. Es gibt einen Satz von Zeichen, die bei UTF-8-Codierung einfach ein Byte 0xC2 vor den ISO-8859-1-Wert gestellt bekommen, und die DIAERESIS gehört dazu.
        
        Ein einfacher Test wäre folgender: Nimm einfach das '¨' aus Deiner Regex raus. Wenn ich dann das Skript unter Windows-CP1252 abspeichere und laufen lasse, erhalte ich:
        
        Code: (dl )
        
        1 2 3 4
        
        $VAR1 = [ 16, 21 ];
        
        Wenn ich das unter UTF-8 abspeichere, dann - schwupp - ist die 16 wieder weg, auch ohne '¨' im regulären Ausdruck. Das liegt daran, dass sich das 'è' aus Deiner Regex in die zwei Bytes "\xc3\xa8" auflöst (es ist kein use utf8; aktiv) und somit auch Deine DIAERESIS eliminiert.
        
        Oder, noch gemeiner: Schreibe den BROKEN BAR ¦ in Deine Regex. Schon wird auch das Š ordnungsgemäß (für bestimmte Werte von ordnungsgemäß) rausgefischt. Du hättest den Fehler gar nicht bemerkt, bis zum nächsten Kunden mit einem Sonderzeichen, das Du zufällig nicht drin hast. Gegenseitiges Aufheben von Fehlern ist eine der häufigsten Tücken bei der Behandlung von Zeichenkodierungen!
        
        Magst Du solche Zufallsresultate? Wohl eher nein. Es gibt mehrere Ansätze, wie man's richtig macht. Hier meine Empfehlungen:
        
        Vermeide Non-ASCII-Literale im Source-Code, wo immer es geht.
        Es gibt in Perl diverse Möglichkeiten, jedes Unicode-Zeichen in ASCII auszudrücken. ISO-8859-15-Bytes zu verwenden, ist allerdings nicht richtig. Richtig wäre beispielsweise die Verwendung der Unicode-Codepoints: "\x{0160}" für Š und "\x{0161}" für š.
        Wenn es nicht geht oder umständlich ist (so wie hier), dann speichere die Quelldatei in UTF-8-Codierung und setze use utf8;.
        Decodiere alle Daten, die in Dein Programm reinkommen, sobald Du sie siehst (das hätte Dein früheres NBSP-Problem schon gar nicht entstehen lassen).
        
        +5 replies
        
        bianca
        
        2019-06-08 22:32
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Boa ist das kompliziert! Danke dir vielmals!!!
        
        2019-06-08T19:48:18 haj
        Schreibe den BROKEN BAR ¦ in Deine Regex.
        
        Das klappt und reicht vorerst. Das ist nur rein privat für meine Musiksammlung.
        https://de.wikipedia.org/wiki/Zala_Kralj_%26_Ga%C5...
        10 print "Hallo"
        20 goto 10
        
        +4 replies
        
        haj
        
        2019-06-09 01:07
        
        User since
        2015-01-07
        558 Artikel
        BenutzerIn
        
        2019-06-08T20:32:57 bianca
        Boa ist das kompliziert! Danke dir vielmals!!!
        Gern geschehen.
        
        2019-06-08T20:32:57 bianca
        2019-06-08T19:48:18 haj
        Schreibe den BROKEN BAR ¦ in Deine Regex.
        
        Das klappt und reicht vorerst. Das ist nur rein privat für meine Musiksammlung.
        https://de.wikipedia.org/wiki/Zala_Kralj_%26_Ga%C5...
        
        Dass es mich bei der Methode ein bisschen gruselt, liegt vermutlich daran, dass gerade Geisterstunde ist :)
        
        +3 replies
        
        bianca
        
        2019-06-09 07:56
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2019-06-08T23:07:16 haj
        Dass es mich bei der Methode ein bisschen gruselt, liegt vermutlich daran, dass gerade Geisterstunde ist :)
        
        Gott sei dank nur bei der Methode :)
        
        Mir ist bewusst, dass man sich heutzutage lauter Krücken einfängt, wenn man nicht UTF-8 verwendet. Aber man lernt auch ein bisschen.
        
        Nochmal Danke!
        10 print "Hallo"
        20 goto 10
        
        +2 replies
        
        haj
        
        2019-06-09 15:22
        
        User since
        2015-01-07
        558 Artikel
        BenutzerIn
        
        2019-06-09T05:56:21 bianca
        Mir ist bewusst, dass man sich heutzutage lauter Krücken einfängt, wenn man nicht UTF-8 verwendet. Aber man lernt auch ein bisschen.
        
        Na ja, das Problem entsteht ja eigentlich dadurch, dass man mehr als 255 verschiedene Zeichen braucht, um durch die internationale Welt zu kommen. Du hast Dir das Leben selbst schwer gemacht, indem Du drei verschiedene 1-Byte-Zeichenkodierungen in einem Programm einsetzt: Perl versteht Latin-1, Notepad++ speichert Deinen Code in Windows-CP1252, und selbst hast Du noch Latin-9 hinzugefügt. Ich denke, Latin-9 war Weg in die falsche Richtung.
        
        Hier mal ein Beispiel, wie man die verschieden Codesets verwenden kann, wenn die Datei in "ANSI" (Windows CP1252) abgespeichert ist:
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29
        
        #!/usr/bin/perl use strict; use warnings; use Data::Dumper; use 5.010; use Encode; sub decode_ansi { decode('cp1252',$_[0]) } my @namen = ( decode('ISO-8859-15',"Zala Kralj & Ga\250per \246antl"), # besser vermeiden decode_ansi("Zala Kralj & Gašper Šantl"), # so sieht's doch besser aus! decode_ansi("Björk Guðmundsdóttir"), ); my $filter = decode_ansi( q/[^0-9a-z @\.,_#+±%()\[\]\$\-~¿!'&§°¨ßäöüÅÄÁÀÃÂÖÜÚÉÈÑþœçáàåãâëéèêòóúùîïí©øØô½ñšŠý®¬µ¯ð]/ ); for my $name (@namen) { my @liste; for (my $p = 0; $p < length($name); $p ++) { if (substr($name,$p,1) =~ /$filter/i) { push @liste,$p+1; } } say Dumper(\@liste); }
        
        Hier werden alle Literale, auch der Satz von Zeichen für den Filter, sobald als möglich mit dem passenden Encoding decodiert. Der Vorteil ist, dass Du nicht um drei Ecken erraten musst, welchen BROKEN BAR Du für ein Š brauchst, sondern die Zeichen so in den Filter einsetzen kannst, wie Du sie im Editor siehst. Als Demo habe ich mal den ð hinzugefügt, den Du brauchst, wenn Du Björk mit vollem Namen in Deine Sammlung aufnehmen willst.
        
        Solltest Du später mal Musik von 郎朗 sammeln, dann kannst Du immer noch auf UTF-8 umsatteln.
        
        rosti
        
        2019-06-09 15:33
        
        User since
        2011-03-19
        3500 Artikel
        BenutzerIn
        
        Di Oktettenwertigkeiten \246 und \250 liefern 166 und 168 als Codepoint. š und Š haben aber 161 und 161 als Codepoint.
        
        https://rolfrost.de/codepoint.html?chars=%C5%A0%C5...
        
        Fazit: Nicht die Oktettenwertigkeiten kennzeichnen ein Zeichen eindeutig sondern nur der Codepoint.
        
        MFG
- rosti
  
  2019-06-08 10:34
  
  User since
  2011-03-19
  3500 Artikel
  BenutzerIn
  
  Codepoint und Bytefolge in utf-8 siehe
  
  https://rolfrost.de/codepoint.html?chars=%C5%A0%C5...
  
  In ISO-8859-15 haben Šš jeweils nur 1 Byte mit den Wertigkeiten 138, 154.
  
  MFG

View all threads created 2019-06-07 19:07.