Verständnisfrage use utf8; (Allgemeines zu Perl)

[thread]17559[/thread]

Verständnisfrage use utf8;

Tags: perl5 utf-8 Ähnliche Threads

Leser: 21

Articles: hide open all | hide show old branches

+10 replies
hop

2012-07-14 17:46
User since
2012-03-29
15 Artikel
BenutzerIn
Hallo,

ich habe "use utf8" so verstanden, dass dem Interpreter damit gesagt wird, alle Stringliterale im Quellentext sind in utf8 kodiert. Z.B. weil man einen Editor nimmt der den Quellcode in utf8 abspeichert.
Folgendes Beispiel (als utf8 gespeichert):
Code (perl): (dl )

1 2 3 4 5

use utf8; use Data::Dumper; my $string ="üöäßÖÜÄ\n"; print $string; print Dumper($string);
Ausgabe (console auf utf8 eingestellt):
1. Zeile einige ????
2. Zeile (Dumper) \x{fc}\x{f6}....

Jetzt lasse ich das "use utf8" weg.
1. Zeile üöäßÖÜÄ
2. Zeile (Dumper) üöäßÖÜÄ

Ich verstehe das nicht, es verhält sich eigentlich genau umgekehrt, wie
ich es erwartet hätte.
Perl ist 5.12.4
Last edited: 2012-07-14 17:47:54 +0200 (CEST)
- +3 replies
- topeg
  
  2012-07-14 17:56
  User since
  2006-07-10
  2611 Artikel
  BenutzerIn
  \x{fc} ist UTF-8. Perl hat den String Intern als UTF-8 gespeichert. Dumper erkennt das und wandelt die Ausgabe so um das sie immer Anzeigbar ist. Ohne utf8 ist der String ein Binärstring. Den packt Dumper nicht an. Also stimmt die Ausgabe auf den Terminal. Wenn du $Data::Dumper::Useqq=1 benutzt dann werden alle nicht ASCII Zeichen so kodiert.
  
  Edit:
  
  bei mir ist die Ausagbe übrigens:
  
  Code: (dl )
  
  1 2 3
  
  üöäßÖÜÄ $VAR1 = "\x{fc}\x{f6}\x{e4}\x{df}\x{d6}\x{dc}\x{c4} ";
  
  Das die Ausgabe nicht stimmt kann daran liegen, dass Die Ausgabe in die native Ausgabe des Terminals gewandelt wird. das kann dann zu den ??? führen. Wenn du auf UTF-8 stellst ändern sich die Umgebungsvariablen nicht.
  Last edited: 2012-07-14 18:02:12 +0200 (CEST)
  - +2 replies
  - hop
    
    2012-07-14 18:08
    
    User since
    2012-03-29
    15 Artikel
    BenutzerIn
    
    Die Ausgabe erfolgt bei mir in der Console von Notepad++, da kann man den Zeichensatz wählen und ich habe utf8 eingesetllt.
    Aber auch bei Dir ist ja keineswegs utf8, was dumper ausgibt, sondern ganz eindeutig die Ansicodierung der Umlaute, die bei mir auch (richtigerweise) in der UTF8 Console als ? ausgegeben werden.
    Seltsam ...
    - topeg
      
      2012-07-14 19:01
      
      User since
      2006-07-10
      2611 Artikel
      BenutzerIn
      
      Das perl utf8 ist nicht das UINCODE UTF-8 einiges ist zwar ähnlich aber es gibt unterschiede.
      Siehe Anhang1 (utf8_and_dumper.pl)
      die Ausgabe:
      
      Code: (dl )
      
      1 2
      
      $VAR1 = "\x{fc}\x{f6}\x{e4}\x{df}\x{d6}\x{dc}\x{c4}--\x{13000}\x{13001}\x{13010} ";
      
      der zweite Anhang ist der UTF-8 String (utf8_txt.txt)
      Hexadezimal Darstellung:
      
      Code: (dl )
      
      bcc3 b6c3 a4c3 9fc3 96c3 9cc3 84c3 93f08080 93f08180 93f09080
      
      Anhänge
      
      text/plain
      9 lines
      utf8_and_dumper.pl
      
      text/plain
      utf8_txt.txt
      
      Last edited: 2012-07-14 19:07:50 +0200 (CEST)
- +5 replies
- bianca
  
  2012-07-14 19:06
  
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  
  2012-07-14T15:46:44 hop
  ich habe "use utf8" so verstanden, dass dem Interpreter damit gesagt wird, alle Stringliterale im Quellentext sind in utf8 kodiert. Z.B. weil man einen Editor nimmt der den Quellcode in utf8 abspeichert.
  
  Sehr gute Frage. Ich bin auch gerade dabei, alles auf UTF-8 umzustellen. Ist diese Angabe "use utf8" zwingend? Sinnvoll? Aus welchem Grund?
  10 print "Hallo"
  20 goto 10
  - +4 replies
  - topeg
    
    2012-07-14 19:15
    
    User since
    2006-07-10
    2611 Artikel
    BenutzerIn
    
    utf8 bestimmt nur wie Perl den Quelltext interpretiert. Perl selber versucht die Ausgabe an die Terminalcodierung anzupassen, wenn ein String intern als Dekodiert (in das perlinterne utf8 gewandelt) markiert ist.
    - +3 replies
    - bianca
      
      2012-07-14 19:19
      
      User since
      2009-09-13
      7016 Artikel
      BenutzerIn
      
      OK. Eine Frage noch: Ich kann in Notepad++ in UTF-8 mit und ohne BOM umwandeln.
      Was empfehlt ihr für Perlscripte?
      10 print "Hallo"
      20 goto 10
      - +2 replies
      - topeg
        
        2012-07-14 19:40
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        Perl packt das BOM nicht an. Das musst du im Script selber machen. Also ist es bei dir günstiger es wegzulassen. Das BOM wird gebraucht wenn man zwischen Systemen wandelt auf denen die ByteOrder (Litte Endian /Big Endian) unterschiedlich sind.
        
        bianca
        
        2012-07-14 20:01
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2012-07-14T17:40:30 topeg
        Perl packt das BOM nicht an. Das musst du im Script selber machen. Also ist es bei dir günstiger es wegzulassen. Das BOM wird gebraucht wenn man zwischen Systemen wandelt auf denen die ByteOrder (Litte Endian /Big Endian) unterschiedlich sind.
        
        Das kommt bei mir glaube ich nicht in Betracht. Dann mache ich ohne BOM.
        Danke dir.
        10 print "Hallo"
        20 goto 10
- rosti
  
  2012-07-14 21:24
  User since
  2011-03-19
  3470 Artikel
  BenutzerIn
  print geht auf STDOUT, da werden Oktetten(Bytes) erwartet.
  
  Ein
  
  Code (perl): (dl )
  
  1 2
  
  my $s = 'äöü'; print $s;
  
  ist OK, denn in Deiner Script-Datei stehen in $s Oktetten.
  
  Mit einem vorangestellten use utf8; jedoch, interpretiert Perl $s als UTF-8-kodierte Zeichenkette. Wenn das dann auf STDOUT geht, werden die Zeichen nicht korrekt dargestellt.
  
  Unterscheide zwischen byte- und character-Semantic.
  
  --Rosti

View all threads created 2012-07-14 17:46.