Unicode Verfremdete Zeichen mit binmode und raw:encoding(UTF-8) (gelöst) (Allgemeines zu Perl)

[thread]20110[/thread]

Unicode Verfremdete Zeichen mit binmode und raw:encoding(UTF-8) [gelöst]

Tags: perl5 Ähnliche Threads

Leser: 14

Articles: hide open all | hide show old branches

+8 replies
GoetzM

2016-07-04 22:27

User since
2014-02-26
12 Artikel
BenutzerIn

Hallo, ich nutze das neuste Strawberry Perl 64bit 5.24.0.1 und habe folgendes sehr seltsames Problem (programmiere auch in Threads).

Ich lese also eine UTF-8 Datei mit oben genannten Code ein, erhalte die Inhalte und konvertiere diese z.T. mit unidecode($inhalt) um z.B. Umlaute auf die normalen Vokale zubringen (ü=u) usw.
Funktioniert alles (Ausgabe Konsole) ganz normal ABER
wenn ich aus den abgeleitenten Strings einen Hashvalue-String bilde,z.T. mit diversen angehängten pack "n",xyz zerwurstelt er mir genau diese Hashvalue pack "n" Inhalte ungewollt.
Ich verstehe das nicht, da muss irgendwas im Hintergrund passieren, was zur Umwandlung der pack "n" 16 Bit-Werte in eine Art Unicode führt. Lese ich die Datei nur mit "binmode FILEK;" ein passiert das nicht.
Ohne Nutzung von Threads passiert der Effekt auch nicht....

modedit Editiert von GwenDragon: Titel geändert
Last edited: 2016-07-05 10:19:50 +0200 (CEST)
- +2 replies
- Linuxer
  
  2016-07-04 23:25
  
  User since
  2006-01-27
  3891 Artikel
  HausmeisterIn
  
  Wie wäre es mit einem Stück lauffähigem Code, so dass man das nachvollziehen kann?
  Das wäre sehr hilfreich für die, die Dir helfen sollen.
  meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
  Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
  - GoetzM
    
    2016-07-04 23:42
    
    User since
    2014-02-26
    12 Artikel
    BenutzerIn
    
    Hallo, habs nach 1 Tag erfolgloser Suche selber gelöst nach Einlesen in
    http://ahinea.com/en/tech/perl-unicode-struggle.ht...
    
    Ich habe einfach bevor die Hashvalues aus Einlesedaten und diversen pack "n" gebildet werden, das
    "use bytes;" pragma gesetzt.
    Beim Auslesen der Werte hab ichs auch gesetzt, kann es aber wohl weglassen weil das Skalar jetzt korrekt geflaggt ist.
    
    So läuft alles in Unicode aber die Hashwerte die vorallen die pack "n" Werte enthalten laufen dann genau nicht in Unicode sondern unverfälscht.
    
    Puhhh, Schwein gehabt...
- +5 replies
- GwenDragon
  
  2016-07-05 10:21
  
  User since
  2005-01-17
  14783 Artikel
  Admin1
  
  Zeig doch mal bitte wie der fehlerhafte Code war und wie die richtige Lösung.
  Es gibt hier bestimmt Perl-Lernende, die auch solche Fallen umschiffen und was dazu lernen wollen.
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +4 replies
  - GoetzM
    
    2016-07-06 20:38
    
    User since
    2014-02-26
    12 Artikel
    BenutzerIn
    
    okay, also ein abgewandeltes Kurzbeispiel:
    
    falsch:
    open my $_MEM_FH, '<', $chunk_ref;
    binmode $_MEM_FH, ':raw:encoding(UTF-8)';
    my $c=0;
    my $testval=pack "n",1234;
    while (<$_MEM_FH>)
    {
    ++$c;
    
    $test{'$c'}=substr($_,0,5).$testval;
    
    }
    
    falsch, weil der Hashwert durch Ableitung aus UTF-8 Inhal als UTF-8 geflaggt ist und automatisch&ungewollt eine Unicodeumwandlung des Binärwertes $testval stattfindet.
    
    so gehts mit "use bytes;":
    
    richtig:
    open my $_MEM_FH, '<', $chunk_ref;
    binmode $_MEM_FH, ':raw:encoding(UTF-8)';
    my $c=0;
    my $testval=pack "n",1234;
    while (<$_MEM_FH>)
    {
    ++$c;
    use bytes;
    $test{'$c'}=substr($_,0,5).$testval;
    
    }
    - +3 replies
    - GoetzM
      
      2016-07-06 20:51
      
      User since
      2014-02-26
      12 Artikel
      BenutzerIn
      
      Muss natürlich $test{'$c'}...
      sein, aer war ja nur Demobeispiel...
      - +2 replies
      - GoetzM
        
        2016-07-06 20:51
        
        User since
        2014-02-26
        12 Artikel
        BenutzerIn
        
        Muss natürlich $test{"$c"}...
        sein, aber war ja nur Demobeispiel... keine Singlequotes also....
        
        Linuxer
        
        2016-07-06 22:18
        
        User since
        2006-01-27
        3891 Artikel
        HausmeisterIn
        
        Als registrierter Benutzer darfst Du Deine Beiträge auch editieren und kannst so Korrekturen direkt durchführen.
        meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
        Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!

View all threads created 2016-07-04 22:27.