Perl und Umlaute (Datenbanken und Verzeichnisdienste)

[thread]17830[/thread]

Perl und Umlaute

Tags: perl5 Ähnliche Threads

Leser: 32

Articles: hide open all | hide show old branches

+7 replies
tcicit

2012-10-16 14:19

User since
2010-12-02
22 Artikel
BenutzerIn

Hallo zusammen
Nach langer Zeit habe ich wieder mal ein Perl Projekt und auch schon das erste Problem.

Ich möchte Daten aus einem CSV File in ein mySQL DB importieren. Das funktioniert soweit auch ganz gut nur habe ich ein Problem das Umlaute und sonstige Sinderzeichen als "?" dargestellt werden. Die Datebank ist als "UTF8 Default Coalliation" angelegt.
Das CSV File ist ist anscheinend ANSI (Laut Notepad++), ja das ganze läuft unter Windows. Dort werden die Umlaute und Sonderzeichen richtig dargestellt. Ich habe auch schon versucht das File nach UTF8 zu konvertieren und dann zu importieren hat nichts genützt.

Meine Frage nun gibt es eine algemein gültig Methode um mit solchen Problemen umzu gehen. Ich habe auch gesehen, dass ich anscheinen nicht der einzige bin der mit solchen Problem kämpft.

Gruss
- +2 replies
- Raubtier
  
  2012-10-16 14:40
  
  User since
  2012-05-04
  1075 Artikel
  BenutzerIn
  
  Dieses Thema hatten wir auch hier schon oft.
  
  Bitte lies einmal den folgenden Artikel:
  http://perlgeek.de/de/artikel/charsets-unicode
  
  Ggf. ist danach schon alles klar. Wenn nicht, kannst du gerne erneut fragen.
  - tcicit
    
    2012-10-16 15:43
    
    User since
    2010-12-02
    22 Artikel
    BenutzerIn
    
    Danke für den Link. Ich werde mir mal den Artikel zu Gemühte führen :)
- +2 replies
- Britzel
  
  2012-10-16 14:49
  User since
  2012-10-02
  20 Artikel
  BenutzerIn
  Hi ticit,
  das Problem ist nahezu beliebig komplex und hat mir auch schon genug graue Haare gebracht, :)
  
  Es gibt mehrere Stellen, die Du überprüfen musst bzw. solltest.
  
  1.) In welchem charset ist das Ausgangsfile codiert? ANSI is zu allgemein, es wird wohl eher cp1252 sein (ähnl. ISO-8859-1).
  
  2.) Wird das File beim Einlesen entsprechend geöffnet? Siehe 'perldoc -f open'. Hier kannst Du eine Codierung einstellen, sofern kein Default IO-Layer systemweit eingestellt ist (über Umgebungsvariablen).
  
  3.) Wie baust Du die Verbindung zu MySQL auf? Eine Verbindung zu MySQL hat ebenfalls eine Codierung! Die wird z.B. in der my.cnf (unter Linux) festgelegt. Das muss dann auch noch getrennt für client- und server-Seite geschehen. Bei mir verwende ich z.B.:
  
  Code: (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14
  
  [client] default-character-set=utf8 [mysql] default-character-set=utf8 [mysqld] # dont use def-char-set, mysql bug +52047 #default-character-set=utf8 collation_server=utf8_unicode_ci init-connect='SET NAMES utf8' character-set-server=utf8
  
  Das stellt die Codierung der Verbindung zum My-SQL Server komplett auf UTF-8 um, ebenso die Collation und den Default-Charset einer Tabelle. Nach der Änderung an my.cnf muss natürlich der MySQL Daemon neu gestartet werden.
  
  Nur die Collation alleine zu setzen hat auf Dein Problem keinen Einfluss, das regelt nur die Sortierreihenfolge bei ner Abfrage.
  
  4.) Arbeitest Du mit nem ORM wie DBIx::Class? Wenn ja kannst Du da beim connect auch einen Parameter übergeben, der die Verbindungs-Codierung auf UTF-8 festlegt. Ich nehme an, das es etwas ähnliches bei DBI bzw. DBD::MySQL gibt.
  
  Das sollte es dann aber gewesen sein. Berichte mal, ob es klappt und setze ggfls. den Thread auf 'gelöst'.
  
  Gruß,
  Britzel
  Last edited: 2012-10-16 14:52:15 +0200 (CEST)
  - tcicit
    
    2012-10-16 15:44
    
    User since
    2010-12-02
    22 Artikel
    BenutzerIn
    
    Danke für die vielen Hinweise. Werd mal alle überprüfen.
- tcicit
  
  2012-10-16 15:48
  
  User since
  2010-12-02
  22 Artikel
  BenutzerIn
  
  Ich habe in der zwischen Zeit noch einige Versuche gemacht und folgendes festgestellt.
  
  Mit einem File das ich selber erstellt habe (notpad++) in dem einige Umlaute vorkommen muss ich nichtst machen damit es richtig importiert wird.
  Anscheinend liegt es am File welches ich von den DB Ungsbekomme. Dort muss vermutlich die Codierung speziel sein.
  Nun muss ich noch herausfinden wie sie dort ist.
- rosti
  
  2023-05-16 10:31
  
  User since
  2011-03-19
  3472 Artikel
  BenutzerIn
  
  Ein mit Perl DBI erstelltes DBHandle verändert die Kodierung nicht. Und welche Kodierung bzw. Kollation in MySQL konfiguriert sind spielt für die Übertragung der Daten überhaupt gar keine Rolle denn übertragen in DBH und in MySQL gespeichert werden nur Bytesequenzen. MFG

View all threads created 2012-10-16 14:19.