Zeichencodierung 3F für ä (gelöst) (Allgemeine technische Fragen)

[thread]18745[/thread]

Zeichencodierung 3F für ä [gelöst]

Leser: 19

Articles: hide open all | hide show old branches

+32 replies
bianca

2013-11-12 18:35

User since
2009-09-13
7016 Artikel
BenutzerIn

Wenn ich im Hexeditor in einer auf Linux von einem Windows Programm über Mono erzeugten Datei ein 3F sehe, wo ein ä steht, welche Zeichencodierung/Codepage ist das?

Auf Windows konvertiere ich die selbe Datei aus dem selben Programm von CP850 in ISO-8859-15 und alle Umlaute sind sauber.
Das klappt auf Linux nicht. Es bleibt ein Fragezeichen stehen.
10 print "Hallo"
20 goto 10
- +2 replies
- Relais
  
  2013-11-12 18:44
  
  User since
  2003-08-06
  2246 Artikel
  ModeratorIn
  
  Also wenn Du eine Datei in iso-8859-15 hast, dann ist die Codierung iso-8859-15. Daran ändern Betriebssysteme nichts.
  
  Edit:
  
  3F ist ascii für das Fragezeichen.
  Last edited: 2013-11-12 18:46:09 +0100 (CET)
  Erst denken, dann posten --
  27. Deutscher Perl- u. Raku -Workshop (Termin wird noch gesucht) 2025 in München.
  
  Winter is Coming
  - bianca
    
    2013-11-12 18:50
    
    User since
    2009-09-13
    7016 Artikel
    BenutzerIn
    
    Auf Windows wird sie in CP850 geschrieben.
    Auf Linux habe ich da nur ein Fragezeichen.
    Muss ich dann an Mono etwas einstellen, damit ein ä rauskommt?
    10 print "Hallo"
    20 goto 10
- rosti
  
  2013-11-12 18:58
  
  User since
  2011-03-19
  3472 Artikel
  BenutzerIn
  
  3F ist der Codepoint für das QUESTION MARK
  
  Wenn eine Oktette (ein Byte) mit diesem Wert in einer Datei steht, wird da niemals nicht ein 'ä' rauskommen sondern stets ein Fragezeichen.
  
  UnicodeData.txt: http://rolfrost.de/unicodedata.html
  Codepoint ermitteln: http://rolfrost.de/codepoint
- +7 replies
- GwenDragon
  
  2013-11-13 10:56
  
  User since
  2005-01-17
  14748 Artikel
  Admin1
  
  2013-11-12T17:35:46 bianca
  in einer auf Linux von einem Windows Programm über Mono erzeugten Datei
  Wie, was? Wie erzeugt ein Windows-Programm auf Linux eine Datei? Wie soll das geschehen sein? .NET mit Mono?
  
  Quote
  Auf Windows konvertiere ich die selbe Datei aus dem selben Programm von CP850 in ISO-8859-15 und alle Umlaute sind sauber.
  Ja, wie machst du das dann in Linux und Windows?
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +6 replies
  - bianca
    
    2013-11-13 11:21
    
    User since
    2009-09-13
    7016 Artikel
    BenutzerIn
    
    2013-11-13T09:56:02 GwenDragon
    .NET mit Mono?
    
    Ja. Und mit Umleitung der Ausgabe des Windows Programms über >datei.txt
    
    2013-11-13T09:56:02 GwenDragon
    Ja, wie machst du das dann in Linux und Windows?
    
    Auf Windows mit Text::Iconv. Eine Lösung für Linux suche ich hier.
    10 print "Hallo"
    20 goto 10
    - +5 replies
    - GwenDragon
      
      2013-11-13 12:37
      
      User since
      2005-01-17
      14748 Artikel
      Admin1
      
      In der Shell?
      Linux hat ja auch kein CP850 sondern oft UTF-8 oder seltener ISO-8859-1.
      Kodiere mit iconv um.
      
      meinblah-mono-duo.pl | iconv --from iso-8859-1 --to utf-8 --output datei.txt
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - +4 replies
      - bianca
        
        2013-11-13 15:20
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2013-11-13T11:37:28 GwenDragon
        Kodiere mit iconv um.
        
        Lustig! Von was denn? Wenn da ein Fragezeichen steht ist kann ich da kein ä hin konvertieren.
        10 print "Hallo"
        20 goto 10
        
        +3 replies
        
        GwenDragon
        
        2013-11-13 15:48
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        Tritt halt dem Entwickler des Programm in Was-weiß-ich, wenn du es sooo lustig findest.
        Ich habs nicht verbockt, dass du von WinDOOF-Leuten Programme bekommst.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        +2 replies
        
        bianca
        
        2013-11-13 16:35
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Nein, nochmal: Das Programm gibt lediglich auf STDOUT und STOUT2 aus, die ich mit > und 2> in eine Datei umleite. Und da kommen Fragezeichen an.
        Wie gesagt. Bin schon auf der Spur.
        10 print "Hallo"
        20 goto 10
        
        jan
        
        2013-11-13 17:11
        
        User since
        2003-08-04
        2536 Artikel
        ModeratorIn
        
        "STOUT2" ist übrigens STDERR.
- +21 replies
- GwenDragon
  
  2013-11-13 13:06
  
  User since
  2005-01-17
  14748 Artikel
  Admin1
  
  Das Fragezeichen kommt wohl, wenn nicht korrekt in deinem Programm ins Ziel-Encoding umkodiert werden kann.
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +13 replies
  - bianca
    
    2013-11-13 15:21
    
    User since
    2009-09-13
    7016 Artikel
    BenutzerIn
    
    2013-11-13T12:06:49 GwenDragon
    Das Fragezeichen kommt wohl, wenn nicht korrekt in deinem Programm ins Ziel-Encoding umkodiert werden kann.
    
    Ja, fast. Nämlich nicht das Programm sondern die Shell. Aber da liegt der Hase im Pfeffer. Habe schon eine Spur. Berichte, wenn es geklappt hat.
    10 print "Hallo"
    20 goto 10
    - +12 replies
    - murphy
      
      2013-11-13 21:20
      
      User since
      2004-07-19
      1776 Artikel
      HausmeisterIn
      
      Ich bewzeifle ja, dass die Shell damit irgendetwas zu tun hat, denn die sollte den Datenstrom gar nicht anfassen.
      
      Das Encoding, welches Mono standardmäßig als System.Text.Encoding.Default verwendet hängt jedenfalls von der Einstellung der Umgebungsvariable LANG ab, vielleicht hilft es also auch, die Localeeinstellungen auf dem Hostsystem anzupassen.
      When C++ is your hammer, every problem looks like your thumb.
      - GwenDragon
        
        2013-11-14 08:55
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        2013-11-13T20:20:07 murphy
        (...)vielleicht hilft es also auch, die Localeeinstellungen auf dem Hostsystem anzupassen.
        Ja, aber für manche nicht unkompliziert, denn Standardshell und SSH-Shell können da je nach root oder Nutzer differieren.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - +3 replies
      - bianca
        
        2013-11-14 09:32
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2013-11-13T20:20:07 murphy
        Das Encoding, welches Mono standardmäßig als System.Text.Encoding.Default verwendet hängt jedenfalls von der Einstellung der Umgebungsvariable LANG ab
        
        Das war auch unser heißer Favorit. Eingestellt und dpkg-reconfigure locales ausgeführt.
        Leider hat das keine Änderung gebracht.
        
        Editiert von bianca: Bezug ergänzt
        Last edited: 2013-11-14 09:41:24 +0100 (CET)
        10 print "Hallo"
        20 goto 10
        
        +2 replies
        
        GwenDragon
        
        2013-11-14 11:47
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        Was zeigt denn locale al Ausgabe, nachdem du dich eingeloggt hast?
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        bianca
        
        2013-11-14 12:29
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2013-11-14T10:47:57 GwenDragon
        Was zeigt denn locale al Ausgabe, nachdem du dich eingeloggt hast?
        
        Quote
        username@server:~$ locale
        LANG=en_US.UTF-8
        LANGUAGE=
        LC_CTYPE="en_US.UTF-8"
        LC_NUMERIC="en_US.UTF-8"
        LC_TIME="en_US.UTF-8"
        LC_COLLATE="en_US.UTF-8"
        LC_MONETARY="en_US.UTF-8"
        LC_MESSAGES="en_US.UTF-8"
        LC_PAPER="en_US.UTF-8"
        LC_NAME="en_US.UTF-8"
        LC_ADDRESS="en_US.UTF-8"
        LC_TELEPHONE="en_US.UTF-8"
        LC_MEASUREMENT="en_US.UTF-8"
        LC_IDENTIFICATION="en_US.UTF-8"
        LC_ALL=
        
        10 print "Hallo"
        20 goto 10
      - +4 replies
      - bianca
        
        2013-11-14 09:35
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2013-11-13T20:20:07 murphy
        Ich bewzeifle ja, dass die Shell damit irgendetwas zu tun hat, denn die sollte den Datenstrom gar nicht anfassen.
        
        Welche Komponenten sind denn in der Kombi Linux + Mono noch beteiligt, wenn ich von einem Programm den Output auf STDOUT und STDERR mit > und 2> in eine Datei umleite?
        Auf Windows kommt dann in der Datei Latin1, Codepage 850 an. Das kann man sauber konvertieren, alle Umlaute sind da. Wie läuft das bei Linux/Mono?
        10 print "Hallo"
        20 goto 10
        
        murphy
        
        2013-11-14 12:00
        
        User since
        2004-07-19
        1776 Artikel
        HausmeisterIn
        
        Die Umleitung der Ausgabe wird von der Shell erzeugt, bevor das eigentliche Kommando gestartet wird. Was in der Datei landet sollte dann ausschließlich vom Verhalten des ausgeführten Kommandos abhängen, in Deinem Fall also von Mono und den geladenen Assemblies.
        When C++ is your hammer, every problem looks like your thumb.
        
        +2 replies
        
        GwenDragon
        
        2013-11-14 12:08
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        In der Shell wird nix konvertiert. Die Ausgabe deines Programms landet so wie es an die Shell ausgegeben wird, in der Datei.
        
        Wer weiß wie die Daten ausgegeben wurden.
        bei Strings zum Beispiel ist es so:
        http://www.mono-project.com/Interop_with_Native_Li...
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        murphy
        
        2013-11-14 12:23
        
        User since
        2004-07-19
        1776 Artikel
        HausmeisterIn
        
        Das Marshalling von Zeichenketten zwischen nativem Code und CLI-Code ist aber wieder ein ganz eigenes Thema. Das muss rein gar nichts mit der Standardkodierung für Dateien zu tun haben.
        When C++ is your hammer, every problem looks like your thumb.
      - +3 replies
      - bianca
        
        2013-11-14 09:40
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2013-11-13T20:20:07 murphy
        vielleicht hilft es also auch, die Localeeinstellungen auf dem Hostsystem anzupassen.
        
        Wie genau macht man das?
        10 print "Hallo"
        20 goto 10
        
        +2 replies
        
        GwenDragon
        
        2013-11-14 09:53
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        https://wiki.debian.org/Locale
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        bianca
        
        2013-11-14 10:07
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2013-11-14T08:53:26 GwenDragon
        https://wiki.debian.org/Locale
        
        Achso, LANG haben wir schon getestet. Ich dachte, murphy meinte mit dem Nebensatz noch eine andere Lösung.
        10 print "Hallo"
        20 goto 10
  - +7 replies
  - GwenDragon
    
    2013-11-14 09:46
    
    User since
    2005-01-17
    14748 Artikel
    Admin1
    
    Ich kann mich erinnern gelesen zu haben, dass Mono UTF8 verwendet und .NET UTF16.
    Microsoft warnt sowieso davor ANSI zu nehmen.
    http://msdn.microsoft.com/en-us/library/system.tex...
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
    - +6 replies
    - bianca
      
      2013-11-14 10:05
      
      User since
      2009-09-13
      7016 Artikel
      BenutzerIn
      
      2013-11-14T08:46:09 GwenDragon
      Ich kann mich erinnern gelesen zu haben, dass Mono UTF8 verwendet und .NET UTF16.
      
      Ja, das steht auch in der Mono FAQ.
      Dann würde ich für ä aber E4 erwarten und nicht 3F.
      10 print "Hallo"
      20 goto 10
      - +5 replies
      - GwenDragon
        
        2013-11-14 10:10
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        Hast du mal mit hd oder od dir die Datei angesehen, was da wirklich drin steht?
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        +4 replies
        
        bianca
        
        2013-11-14 10:14
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2013-11-14T09:10:30 GwenDragon
        Hast du mal mit hd oder od dir die Datei angesehen, was da wirklich drin steht?
        
        Ja, 3F für jeden Umlaut.
        10 print "Hallo"
        20 goto 10
        
        +3 replies
        
        murphy
        
        2013-11-14 12:19
        
        User since
        2004-07-19
        1776 Artikel
        HausmeisterIn
        
        Ich kann das hier auch nachvollziehen. Genauer beobachte ich folgendes Verhalten: Wenn LANG auf eine vom System unterstützte Locale gestellt ist, schreibt Mono anscheinend grundsätzlich die Ausgabe in UTF-8, ansonsten schreibt es die Ausgabe in US-ASCII und ersetzt alle Sonderzeichen durch Fragezeichen.
        
        Beispiel:
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14
        
        $ cat foo.fsx printf "äöü\n" $ LANG='en_US.UTF-8' fsharpi foo.fsx | hd 00000000 c3 a4 c3 b6 c3 bc 0a |.......| 00000007 $ LANG='en_DK.UTF-8' fsharpi foo.fsx | hd 00000000 c3 a4 c3 b6 c3 bc 0a |.......| 00000007 $ LANG='en_DK.ISO-8859-15' fsharpi foo.fsx | hd 00000000 c3 a4 c3 b6 c3 bc 0a |.......| 00000007 $ LANG='en_DK.GARBAGE' fsharpi foo.fsx | hd 00000000 3f 3f 3f 0a |???.| 00000004
        
        Die Ausgabekodierung scheint allerdings auch nicht direkt mit der Standardkodierung verbunden zu sein, denn letztere passt sich mit feinerer Granularität der Locale an:
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8
        
        $ cat enc.fsx printf "System.Text.Encoding.Default: %O\n" System.Text.Encoding.Default $ LANG='en_DK.UTF-8' fsharpi enc.fsx System.Text.Encoding.Default: System.Text.UTF8Encoding $ LANG='en_DK.ISO-8859-15' fsharpi enc.fsx System.Text.Encoding.Default: I18N.West.ENCiso_8859_15 $ LANG='en_DK.GARBAGE' fsharpi enc.fsx System.Text.Encoding.Default: System.Text.ASCIIEncoding
        
        When C++ is your hammer, every problem looks like your thumb.
        
        bianca
        
        2013-11-14 12:29
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Danke dir, gebe ich mal weiter.
        10 print "Hallo"
        20 goto 10
        
        bianca
        
        2013-11-14 16:16
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Haben dem Programmaufruf folgendes Präfix verpaßt: LANG='en_US.UTF-8'
        Damit ist alles sauberes UTF-8.
        
        Danke allen Beteiligten!
        10 print "Hallo"
        20 goto 10

View all threads created 2013-11-12 18:35.