emojis (Allgemeines zu Perl) - Perl-Community.de

[thread]20409[/thread]

emojis

Tags: perl5 Ähnliche Threads

Leser: 15

Articles: hide open all | hide show old branches

+10 replies
miwieg

2017-12-20 11:48
User since
2006-07-16
59 Artikel
BenutzerIn
Hallo,

Ich habe ein paar Tweets aus Twitter in json-Format, deren Text ich gerne weiterverarbeiten würde. Einige Tweets enthalten auch Emojis.
Wenn ich einlese und auf STDOUT schreibe:
Code: (dl )

1 2 3 4 5 6 7

my $json = JSON->new; open(INF,$file); my $tweetFromFile = <INF>; my $data = $json->decode($tweetFromFile); my $text = Encode::encode_utf8($data->{"full_text"}); print $text . "\n"; close(INF);
werden die Emojis richtig dargestellt. Wenn ich sie in eine Datei schreibe, funktioniert das nicht.

Liegt das an dem Texteditor (Emacs), mit dem ich die Datei anschaue, oder mache ich etwas falsch?

Vielen Dank.
- +8 replies
- Linuxer
  
  2017-12-20 11:54
  
  User since
  2006-01-27
  3890 Artikel
  HausmeisterIn
  
  Hi,
  
  und wie schreibst Du die Daten in die Datei? Den Code solltest Du auch zeigen.
  meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
  Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
  - +7 replies
  - miwieg
    
    2017-12-20 11:57
    User since
    2006-07-16
    59 Artikel
    BenutzerIn
    
    auf commando-zeile:
    
    Code: (dl )
    
    perl myScript.pl > output.txt
    - +6 replies
    - Linuxer
      
      2017-12-20 13:15
      
      User since
      2006-01-27
      3890 Artikel
      HausmeisterIn
      
      Wie sieht es denn aus, wenn Du die Datei nicht mit emacs öffnest, sondern direkt ausgeben lässt; z.B. mit cat output.txt. Stimmen dann die Emojis?
      meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
      Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
      - +5 replies
      - miwieg
        
        2017-12-20 13:30
        
        User since
        2006-07-16
        59 Artikel
        BenutzerIn
        
        Das scheint zu gehen. Auch per Chromium.
        Einige wenige Symbole (schätzungsweise < 5% der Zeichen) gehen nirgendwo, z.B. U+1F914 (thinking face).
        
        Symbole, die nur über cat, stdout und Chromium richtig angezeigt werden, sind z.B. U+1F608 (smiling face with horns) oder U+1F60E (smiling face with sunglasses)
        
        +4 replies
        
        Linuxer
        
        2017-12-20 16:12
        
        User since
        2006-01-27
        3890 Artikel
        HausmeisterIn
        
        Unterstützt der benutzte Zeichensatz/die benutzte Schriftart die entsprechenden Zeichen?
        Benutzen alle drei Anwendungen (*Terminal, Chromium, Emacs) den gleichen Zeichensatz/die gleiche Schrift?
        
        edit: Ich muss zugeben, ich fische hier selber im Trüben, weil ich mich bisher nicht intensiv mit UTF-8 auseinander setzen musste.
        Last edited: 2017-12-20 16:33:41 +0100 (CET)
        meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
        Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
        
        +3 replies
        
        miwieg
        
        2017-12-20 16:37
        
        User since
        2006-07-16
        59 Artikel
        BenutzerIn
        
        Ich weiß ehrlich gesagt nicht, wie sich das genau überprüfen lässt.
        
        Zu emacs: ich habe im Netz eine Extension gefunden für Emojis
        https://github.com/iqbalansari/emacs-emojify
        Daraus würde ich mal schließen, dass Emacs per default nicht mit Emojis klarkommt?
        
        Was ich nicht verstehe ist, wieso bei den übrigen Anwendungen (d.h. Chromium und Terminal) nur einige bestimmte Emojis nicht funktionieren.
        
        +2 replies
        
        Linuxer
        
        2017-12-20 16:50
        
        User since
        2006-01-27
        3890 Artikel
        HausmeisterIn
        
        Da genau liegt das Trübe, in dem ich fische.
        
        Neben meiner geringen Ahnung von UTF-* habe ich emacs noch nie wirklich verwendet.
        
        Ich weiß nicht, wie diese Extension arbeitet. Mein erster Gedanke war, dass die für die problematischen Zeichen nichts definiert hat; aber das U+1F608 (smiling face with horns) habe ich dort im github Repository in der https://github.com/iqbalansari/emacs-emojify/blob/... entdecken können.
        
        Vielleicht wird der Code-Point nicht erkannt oder er ist nicht korrekt "verlinkt". Im Prinzip denke ich, dass im emacs der Code-Point für das Zeichen erkannt werden muss und dann durch das entsprechende Bildchen ersetzt werden sollte. Wenn diese Zuordnung nicht korrekt ist, kann das Zeichen eben nicht dargestellt werden. Aber das ist jetzt auch nur ahnungslos wild geraten....
        
        Mir fehlt leider die Zeit dafür, mich da intensiver einzulesen. Von daher bin ich erstmal raus und kann Dir da nicht weiterhelfen.
        
        Vielleicht kann noch jemand einspringen, der mehr Ahnung von dem Thema hat...
        meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
        Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
        
        miwieg
        
        2017-12-20 17:15
        
        User since
        2006-07-16
        59 Artikel
        BenutzerIn
        
        @Linuxer: Danke auf jeden Fall schon einmal für Deine Bemühungen!
        
        Das Emacs-Problem ist eigentlich nicht meine Sorge.
        Meine Sorge ist, ob ich prinzpiell die Daten falsch auslese, sprich einen Fehler mache. Wenn das nur bei den anderen Anwendungsprogrammen geht, ist das für mich OK.
- Raubtier
  
  2017-12-20 18:36
  
  User since
  2012-05-04
  1076 Artikel
  BenutzerIn
  
  UTF-8 ist eine sehr dankbare und einfache Kodierung.
  
  Schau dir deine Bytes mal in Bits an.
  
  Im ersten Byte gibt die Anzahl der gesetzten höchstwertigen Bits an, aus wie vielen Bytes das Zeichen besteht.
  
  Bei ASCII-Zeichen ist das höchste Bit 0, d.h. nur 1 Byte.
  Bei sowas wie Ü fängst das erste Byte mit 110..... an (2 Bits gesetzt, d.h. 2 Bytes insgesamt). Bei deinem Smiley hast du dann vielleicht 11110... (4 Bits, d.h. 4 Bytes). Die Folgebytes beginnen immer mit 10......, d.h. es bleiben jeweils 6 Datenbits. Die Datenbits hängst du am Ende einfach aneinander (höherwertige sind in vorn) und fertig ist's.
  
  D.h. wenn du schauen willst, ob du die Daten richtig in eine Datei geschrieben hast, nimm einen Hexeditor und schau nach :-)
  
  Oder nimm einfach einen Editor, der UTF-8 kann und die entsprechenden Zeichen auch unterstützt ;-) - mein Punkt ist nur, dass das recht einfach nachzuprüfen ist.
  
  Vielleicht noch was: auch in UTF-16 kann man 2 16-Bit Code-Units pro Zeichen haben! Das ist oftmals falsch implementiert. D.h. Unicode-Zeichen größer als U+FFFF verursachen gerne mal Probleme!
  Last edited: 2017-12-20 18:43:12 +0100 (CET)

View all threads created 2017-12-20 11:48.