bug in Encode? (gelöst) (Fragen zu Perl-Modulen)

[thread]16068[/thread]

bug in Encode? [gelöst]

Leser: 19

Articles: hide open all | hide show old branches

+4 replies
miwieg

2011-03-14 09:41
User since
2006-07-16
59 Artikel
BenutzerIn
Hallo,

Ich muss größere Textmengen von UTF-8 nach ISO-8859-1 konvertieren.
Ich benutze Encode. Der entsprechende Code sieht ungefähr so aus:
Code: (dl )

1 2 3 4 5 6 7

open(INF,"<:encoding(utf-8)",$infile); open(OUTF, ">:encoding(iso-8859-1)", $outfile); while(my $line = <INF>){ # do something with $line } close(INF); close(OUTF);
Leider gibt es dabei Probleme. Ich erhalte folgende Fehlermeldung:

Quote
"\x{2000}" does not map to iso-8859-1, <INF> line 18981.
panic: sv_setpvn called with negative strlen, <INF> line 18981.

und das Programm bricht vorzeitig ab.
Irgendwo im Netz hat jemand behauptet, dass dies ein Bug innerhalb des Encode-Pakets sei.

Wie kann ich dieses Problem umgehen?
Ein "Hack", der problematische Zeichen einfach vorher abfängt, wäre auch völlig ausreichend.

Vielen Dank im Voraus!
- +3 replies
- GwenDragon
  
  2011-03-14 10:12
  User since
  2005-01-17
  14748 Artikel
  Admin1
  Was soll dann mit den "falschen" Zeichen passieren?
  
  Schau mal, anstatt des PerlIO streams lässt sich doch auch die Methode from_to mit Flag CHECK nutzen.
  
  Hast du das mal probiert oder weit du nicht wie das gehen könnte?
  
  Schau dir mal an, wie das mit den Fklags funktioniert.
  Testschnippsel:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
  
  while (<DATA>) { # FB_DEFAULT wandelt in ? um from_to($_, "utf-8","iso-8859-1",Encode::FB_DEFAULT); # FB_CROAK stirbt bei falschen Zeichen #from_to($_, "utf-8","iso-8859-1",,Encode::FB_CROAK); # FB_WARN warnt bei falschen Zeichen #from_to($_, "utf-8","iso-8859-1",Encode::FB_WARN); print; } __DATA__ Ώ € ÄÖÜß ב
  
  Last edited: 2011-03-14 10:28:22 +0100 (CET)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +2 replies
  - miwieg
    
    2011-03-14 10:34
    
    User since
    2006-07-16
    59 Artikel
    BenutzerIn
    
    Mit der from_to-Methode klappt es.
    Bei Encode::FB_DEFAULT läuft das Programm durch.
    
    Vielen Dank!!!
    - GwenDragon
      
      2011-03-14 11:44
      
      User since
      2005-01-17
      14748 Artikel
      Admin1
      
      Bitte oben den Thread als gelöst markieren, neben dem Threadtitel
      Thread als gelöst markieren: Speichern
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View all threads created 2011-03-14 09:41.