Konvertierung Windows-1252 -> UTF8 (Allgemeines zu Perl) - Perl-Community.de

Start · Board · Anwendungen/Programme/Skripte in Perl · Allgemeines zu Perl

2024-05-15 19:46:07
Europe/Berlin
Einloggen (Registrieren)
- Einstellungen
- Statistics
Jemand zu Hause?
1 Benutzer online
4 Gäste

[thread]19290[/thread]

submit to reddit

Konvertierung Windows-1252 -> UTF8

Tags: perl5 utf-8 Ähnliche Threads

Leser: 23

Articles: hide open all | hide show old branches

+22 replies
jan99

2014-09-19 11:52
User since
2008-09-18
439 Artikel
BenutzerIn
Moin !

ich möchte Dateien von einem Zeichensatz in einen anderen konvertieren (Windows-1252 -> UTF8) und habe hierzu schon einmal den Beitrag Zeichensätze UTF-8 -> Latin-1 konvertieren gefunden.

Meine Datei sieht jetzt so aus:
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14

#!/usr/bin/perl use strict; use warnings; use Encode qw/from_to/; my $DEBUG = 0; while (<>) { print STDERR "Original: $_" if $DEBUG; #from_to($_,"ANSI Latin1","utf8", Encode::FB_QUIET); from_to($_,"ansi","utf8", Encode::FB_QUIET); print; }
Wenn ich das aber ausführe, dann bekomme ich die Meldung

Quote
Unknown encoding 'ansi' at Character_Change.pl line 12.

das er ANSI nicht kennt!

Kann mir einer weiterhelfen ?

Gruß Jan :-)

modedit Editiert von GwenDragon: Link auf Thread kompatibel gemacht; bitte /bat/poard/markup_help/ lesen!
Last edited: 2014-09-19 11:58:37 +0200 (CEST)
perl-Greenhorn - Win7 64bit / strawberry (ehem. activeperl) - www.OpenStreetMap.de
- nepos
  
  2014-09-19 11:58
  
  User since
  2005-08-17
  1420 Artikel
  BenutzerIn
  
  Probier doch mal ISO-8859-1 oder latin1.
- +4 replies
- GwenDragon
  
  2014-09-19 12:03
  
  User since
  2005-01-17
  14603 Artikel
  Admin1
  
  ANSI ist keine Zeichen(satz)kodierung! Der ANSI-Zeichensatz stimmt auch nur teilweise mit dem von Windows überein.
  Du meinst Windows-1252 oder ISO-8859-1 oder gar ISO-8859-15?
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +3 replies
  - jan99
    
    2014-09-19 12:08
    
    User since
    2008-09-18
    439 Artikel
    BenutzerIn
    
    Moin !
    
    @nepos: ISO-8859-1 hat zumindest keine Fehlermeldung mehr geschrieben. Wenn ich die neue Datei allerdings in Notepad++ öffne, dann ist bei der Zeichensatz-Art kein Marker bei UTF zu finden!
    
    @GwenDragon: Windows-1252 hatte ich doch schon in der Überschrift angezeigt.
    
    Nur schon einmal vorab - wenn wieder einer später nach Posting erledigt fragt. Zum derzeitigen Zeitpunkt finde ich keinen entsprechenden Haken den man setzen kann. Aber soweit sind wir ja noch nicht.
    
    Gruß Jan :-)
    perl-Greenhorn - Win7 64bit / strawberry (ehem. activeperl) - www.OpenStreetMap.de
    - bianca
      
      2014-09-20 08:10
      
      User since
      2009-09-13
      6986 Artikel
      BenutzerIn
      
      2014-09-19T10:08:25 jan99
      Nur schon einmal vorab - wenn wieder einer später nach Posting erledigt fragt. Zum derzeitigen Zeitpunkt finde ich keinen entsprechenden Haken den man setzen kann.
      
      Zeig doch mal ein Screenshot von deiner Threadansicht.
      10 print "Hallo"
      20 goto 10
    - Linuxer
      
      2014-09-20 20:41
      
      User since
      2006-01-27
      3880 Artikel
      HausmeisterIn
      
      2014-09-19T10:08:25 jan99
      Nur schon einmal vorab - wenn wieder einer später nach Posting erledigt fragt. Zum derzeitigen Zeitpunkt finde ich keinen entsprechenden Haken den man setzen kann. Aber soweit sind wir ja noch nicht.
      
      Auch nicht nach dem Hinweis von GwenDragon in msg #177267?
      meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
      Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
- +3 replies
- GwenDragon
  
  2014-09-19 12:12
  User since
  2005-01-17
  14603 Artikel
  Admin1
  utf8 ist die interne Unicode-Kodierung von Perl, die rein gar nichts mit der Kodierung UTF-8 zu tun hat.
  
  Du musst nochmals rückkodieren:
  
  Code (perl): (dl )
  
  1 2
  
  from_to($_,"Windows-1252","utf8", Encode::FB_QUIET); from_to($_,"utf8", "UTF-8", Encode::FB_QUIET);
  
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +2 replies
  - jan99
    
    2014-09-19 12:20
    
    User since
    2008-09-18
    439 Artikel
    BenutzerIn
    
    Wenn ich es richtig verstehe sollen beide Zeilen hintereinander im Code stehen?
    
    Aber die Kodierungskennung ist immer noch nicht da !
    
    Gruß Jan :-)
    perl-Greenhorn - Win7 64bit / strawberry (ehem. activeperl) - www.OpenStreetMap.de
    - GwenDragon
      
      2014-09-19 13:10
      
      User since
      2005-01-17
      14603 Artikel
      Admin1
      
      Verwendest du wirklich Windows-1252? Also arbeitest du in der DOS-Box? Oder wie rufst du das Programm auf?
      
      Mein Testprogramm c.pl:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7
      
      use strict; use warnings; use Encode qw/from_to/; while (<>) { from_to($_,"CP850","UTF-8", Encode::FB_QUIET); print; }
      
      Wenn ich folgendes mache in der DOS-Box:
      echo ÄÖÜß | c.pl > a.txt
      
      Dann entsteht eine UTF-8-Datei ohne BOM namens a.txt.
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +2 replies
- GwenDragon
  
  2014-09-19 13:41
  User since
  2005-01-17
  14603 Artikel
  Admin1
  Wenn du UTF-8 mit Byte Order Mark brauchst:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7
  
  binmode STDOUT; my $BOM = "\x{ef}\x{bb}\x{bf}"; print $BOM; while (<>) { from_to($_,"WINDOWS-1252","UTF-8", Encode::FB_QUIET); print; }
  
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - payx
    
    2014-09-19 14:56
    User since
    2006-05-04
    564 Artikel
    BenutzerIn
    
    2014-09-19T11:41:08 GwenDragon
    Wenn du UTF-8 mit Byte Order Mark brauchst: ...
    
    Alternativ geht es auch mit UTF8BOM:
    
    Code (perl): (dl )
    
    1 2
    
    use UTF8BOM; UTF8BOM->insert_into_file('/path/to/file');
    
    HTH
    Grüße
    payx
- +11 replies
- Regenlaeufer
  
  2018-11-12 12:16
  
  User since
  2018-11-12
  1 Artikel
  BenutzerIn
  
  Ich weiß - diese Antwort kommt RICHTIG spät, aber ich habe jetzt erst die Problematik selbst gehabt und bin auf eine - für die meisten wahrscheinlich - "billige" Lösung gekommen.
  
  Da ich auch einen Windows Rechner mit mittlerweile Windows 10 habe, habe ich frech die Codepage für die Windows Console mittels Regedit unter dem Schlüssel
  
  Computer\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Nls\CodePage
  
  und dort genau unter dem Schlüssel
  
  OEMCP als Wert "1252"
  
  umgestellt. (Normalerweise steht dort die Codepage 850 (Latin I)).
  
  Dann habe ich noch im Perl-Skript selbst "USE utf8;" im Kopf eingefügt.
  
  Damit war es mir dann möglich, ohne Konvertierung über reguläre Ausdrücke, die Umlaute "äöüÄÖÜß" und die wissenschaftlichen Zeichen "²³µ" über "print" auszugeben.
  
  Sehr billig - zugegeben! Und hier auch gleich der Wermutstropfen: das Euro-Symbol wird NICHT ausgegeben und muss mittels Code-Zahl direkt ausgegeben werden.
  
  Der eine oder andere Perl-Power-User möge mich wutentbrannt mit dem Pantoffel schwingend vor sich hertreiben, aber für "einfache" Ausgaben könnte das eine relativ entspannte Lösung sein. (Nicht DIE Lösung...)
  Last edited: 2018-11-12 12:25:01 +0100 (CET)
  - rosti
    
    2018-11-12 13:37
    
    User since
    2011-03-19
    3261 Artikel
    BenutzerIn
    
    Entspannt ist nur, wers verstanden hat.
    
    .
  - +9 replies
  - FIFO
    
    2018-11-12 20:01
    User since
    2005-06-01
    469 Artikel
    BenutzerIn
    
    1. Das kannst Du einfacher haben, ohne Registry-Eingriff:
    Im Skript system( "chcp", 1252 ); (change codepage)
    
    2. Codepage 850 ist nicht Latin-1, sondern eine der alten OEM-Codepages aus DOS-Zeiten, die manchmal als "DOS-Latin-1" bezeichnet wird. Der Latin-1-Zeichensatz ist ISO-8859-1. Der Zeichensatz, der unter Windows oft salopp ANSI genannt wird, heißt Windows-1252 oder cp1252 und ist eine Erweiterung von ISO-8859-1, die u.a. das Euro-Zeichen enthält.
    
    Wenn Du Sourcecode unter Windows hast, ist dieser i.d.R. cp1252. Um also Strings korrekt in der Konsole auszugeben, machst Du:
    
    Code (perl): (dl )
    
    1 2
    
    system( "chcp", 1252 ); print "blöde Maßegelung im €-Raum\n"; # edit: encode unnötig, fucking copy-paste
    
    Wenn Dein Sourcecode in UTF-8 gespeichert ist:
    
    Code (perl): (dl )
    
    1 2 3 4 5
    
    use utf8; use Encode; system( "chcp", 1252 ); print encode( "cp1252", "blöde Maßegelung im €-Raum\n" );
    
    Editiert von FIFO: typo
    Last edited: 2018-11-12 20:08:35 +0100 (CET)
    Everyone knows that debugging is twice as hard as writing a program in the first place. So if you're as clever as you can be when you write it, how will you ever debug it? -- Brian Kernighan: "The Elements of Programming Style"
    - +8 replies
    - GwenDragon
      
      2018-11-12 20:05
      
      User since
      2005-01-17
      14603 Artikel
      Admin1
      
      Und Windows 1252 ist auch nicht ANSI (was vermeintlich Standard suggeriert), sondern dein eingestellter westeuropäischer Zeichensatz auf Windows.
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - +7 replies
      - FIFO
        
        2018-11-12 20:10
        
        User since
        2005-06-01
        469 Artikel
        BenutzerIn
        
        ... deswegen schrieb ich ja "oft salopp ANSI genannt"
        Everyone knows that debugging is twice as hard as writing a program in the first place. So if you're as clever as you can be when you write it, how will you ever debug it? -- Brian Kernighan: "The Elements of Programming Style"
        
        +6 replies
        
        GwenDragon
        
        2018-11-13 09:04
        
        User since
        2005-01-17
        14603 Artikel
        Admin1
        
        Ich finde es wichtig bei technischen Ausdrücken genau zu sein, deswegen mein Einwurf.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        +5 replies
        
        rosti
        
        2018-11-13 09:11
        
        User since
        2011-03-19
        3261 Artikel
        BenutzerIn
        
        Ich finde das nicht so wichtig. Jeder Begriff ergibt sich aus dem Zusammenhang. Buzzworte sind was für Klugscheiser. Fachbegriffe auch.
        
        .
        Last edited: 2018-11-13 15:27:53 +0100 (CET)
        
        +4 replies
        
        GwenDragon
        
        2018-11-14 10:23
        
        User since
        2005-01-17
        14603 Artikel
        Admin1
        
        Boh, deine Laune. Musst du mich so anbaffen.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        +3 replies
        
        rosti
        
        2018-11-14 11:31
        
        User since
        2011-03-19
        3261 Artikel
        BenutzerIn
        
        2018-11-14T09:23:27 GwenDragon
        Boh, deine Laune. Musst du mich so anbaffen.
        
        Hehe das war doch nicht persönlich ;)
        
        PS: Wer hat meinen Frack angesengt, gibts hier Drachen !?
        
        .
        
        +2 replies
        
        GwenDragon
        
        2018-11-14 12:29
        
        User since
        2005-01-17
        14603 Artikel
        Admin1
        
        Ich mag Buzzwords auch nicht so sonderlich, aber ich präferiere eben Fachausdrücke wenn nötig.
        Jede person wie sie will.
        
        2018-11-14T10:31:43 rosti
        Hehe das war doch nicht persönlich ;)
        OK, wenn es deine allgemeine Aussage war, verzeihe ich das.
        
        2018-11-14T10:31:43 rosti
        PS: Wer hat meinen Frack angesengt, gibts hier Drachen !?
        PS: Haste keine Asbesthose an wenn ich hier rumfliege? ;) :undweg:
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        rosti
        
        2018-11-14 13:07
        
        User since
        2011-03-19
        3261 Artikel
        BenutzerIn
        
        Quote
        PS: Haste keine Asbesthose an wenn ich hier rumfliege? ;)
        
        Ne, dann müsste ich mir ja die Hosen mit der Kneifzange anziehen ;)
        
        Aber wenn der Kittel brennt kann das ja auch andere Ursachen haben...
        
        .

View all threads created 2014-09-19 11:52.