CSV-Datei mit Perl erstellen (Allgemeines zu Perl)

[thread]14347[/thread]

CSV-Datei mit Perl erstellen

Leser: 23

Articles: hide open all | hide show old branches

+13 replies
pktm

2009-12-07 11:42
User since
2003-08-07
2921 Artikel
BenutzerIn
Hallo!

Ich habe tabellarische Daten aus einer Datenbank, so mit Umlauten und natürlich den Zeichen innerhalb der Felder, die bei der CSV-Datei die Trenneichen sind.

Jetzt würde ich gerne daraus eine CSV-Datei machen. Ich habe es mit Class::CSV versucht, aber komme damit nicht weiter. Bei Umlauten scheitert es:
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

#!/usr/bin/perl use strict; use warnings; use Class::CSV; my $csv = Class::CSV->new( filename => 'test.csv', fields => [qw/item qty/], ); $csv->add_line({ item => "ütem", qty => '2' }); $csv->print();
Der Fehler, der nicht auftritt, wenn kein Umlaut vorkommt, lautet:

Quote
ailed to create CSV line from line: ütem
at /Library/Perl/5.8.8/Class/CSV.pm line 257
Class::CSV::Line::string('Class::CSV::Line=HASH(0x992ffc)') called at /Library/Perl/5.8.8/Class/CSV.pm line 435
Class::CSV::string('Class::CSV=HASH(0x9bccec)') called at /Library/Perl/5.8.8/Class/CSV.pm line 443
Class::CSV::print('Class::CSV=HASH(0x9bccec)') called at ./bin/test/ccsv.pl line 17

Wie man erahnen kann, wird hier Perl 5.8.8 auf MAC OSX leopard (10.5) verwendet. Class::CSV liegt in Version 1.03 vor.

Hat zufällig jemand etwas funktioniertendes auf Lager?

Grüße, pktm
http://www.intergastro-service.de (mein erstes CMS :) )
- +3 replies
- pq
  
  2009-12-07 11:48
  
  User since
  2003-08-04
  12208 Artikel
  Admin1
  
  wieso nicht Text::CSV oder Text::xSV?
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - +2 replies
  - pktm
    
    2009-12-07 12:58
    
    User since
    2003-08-07
    2921 Artikel
    BenutzerIn
    
    Mit denen kam ich nicht so auf anhieb zurecht. Die Schnittstellen von Class::CSV finde ich netter. Es erschien mir so wie XML::Simple im vergleich zu XML::Parser.
    http://www.intergastro-service.de (mein erstes CMS :) )
    - pq
      
      2009-12-07 12:59
      
      User since
      2003-08-04
      12208 Artikel
      Admin1
      
      oha, schlechtes zeichen =)
      XML::Simple ist nämlich nicht so simpel, wie es heisst.
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- +5 replies
- Taulmarill
  
  2009-12-07 12:36
  User since
  2004-02-19
  1750 Artikel
  BenutzerIn
  Wie einige andere Module auch scheint Class::CSV anzunehmen, dass ein String ASCII sein muss, wenn nicht anders markiert. Dem kannst du vorbeugen indem du entweder das utf8 Pragma verwendest:
  
  Code (perl): (dl )
  
  use utf8;
  
  oder den String explizit dekodierst:
  
  Code (perl): (dl )
  
  1 2 3 4 5
  
  use Encode qw(decode); $csv->add_line({ item => decode( 'UTF-8', 'ütem' ), qty => '2' });
  
  Beides setzt natürlich voraus, dass der String auch in UTF-8 vorliegt.
  $_=unpack"B*",~pack"H*",$_ and y&1|0& |#&&print"$_\n"for@.=qw BFA2F7C39139F45F78 0A28104594444504400 0A2F107D54447DE7800 0A2110453444450500 73CF1045138445F4800 0 F3EF2044E3D17DE 8A08A0451412411 F3CF207DF41C79E 820A20451412414 83E93C4513D17D2B
  - +4 replies
  - pktm
    
    2009-12-07 13:08
    User since
    2003-08-07
    2921 Artikel
    BenutzerIn
    
    Hallo!
    
    Soweit ich das sehe, kommen die Daten in utf-8 aus der Datenbank.
    
    Ich habe im Test-Skript ein seltsames Verhalten.
    
    Code: (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
    
    #!/usr/bin/perl use strict; use warnings; use utf8; use Encode qw(decode); use Class::CSV; my $csv = Class::CSV->new( filename => 'test.csv', fields => [qw/item qty/], ); t1($csv); t2($csv); $csv->print(); sub t1 { my $csv = shift; $csv->add_line({ item => "ütem", qty => '2' }); } sub t2 { my $csv = shift; $csv->add_line({ item => decode('UTF-8', "ütem"), qty => '2' }); }
    
    Wenn ich das so aufrufe, gibt es folgende Ausgabe:
    
    Quote
    Wide character in print at /Library/Perl/5.8.8/Class/CSV.pm line 443.
    ütem,2
    �tem,2
    
    Mal davn abgesehen, dass ich noch nicht weiß, warum der "Wide character in print"-Fehler kommt, ist das erste ü korrekt, das zweite jedoch nicht. Nicht korrekt i.d.S. dass da kein ü steht.
    
    Wenn ich den Aufruf von t2 auskommentiere, wird das ü auch nicht korrekt ausgegeben:
    
    Quote
    ¸tem,2
    
    Einzig t2 alleine (t1 auskommentiert) bleibt konsistent:
    
    Quote
    Wide character in print at /Library/Perl/5.8.8/Class/CSV.pm line 443.
    �tem,2
    
    Mache ich irgend etwas ganz falsch?
    http://www.intergastro-service.de (mein erstes CMS :) )
    - Taulmarill
      
      2009-12-07 13:51
      
      User since
      2004-02-19
      1750 Artikel
      BenutzerIn
      
      Entweder utf8 Pragma oder decode(), nicht beides.
      $_=unpack"B*",~pack"H*",$_ and y&1|0& |#&&print"$_\n"for@.=qw BFA2F7C39139F45F78 0A28104594444504400 0A2F107D54447DE7800 0A2110453444450500 73CF1045138445F4800 0 F3EF2044E3D17DE 8A08A0451412411 F3CF207DF41C79E 820A20451412414 83E93C4513D17D2B
    - +2 replies
    - sid burn
      
      2009-12-07 14:04
      
      User since
      2006-03-29
      1520 Artikel
      BenutzerIn
      
      Quote
      Mal davn abgesehen, dass ich noch nicht weiß, warum der "Wide character in print"-Fehler kommt, ist das erste ü korrekt, das zweite jedoch nicht. Nicht korrekt i.d.S. dass da kein ü steht.
      
      Der kommt weil Perl alles was du nach STDIN, STDOUT, STDERR ausgiebst automatisch wieder nach ISO-8859-1 umkodiert wird. Und bei Zeichen die dann in ISO-8859-1 nicht vorhanden sind gibt er dann die "Wide Character..." meldung aus. Für ein "ü" sollte das aber nicht passieren.
      
      Man muss damit die anzeige korrekt ist jeden String der das UTF-8 Flag aktiv hat eigentlich nochmal "encode()"en sobald man I/O damit betreibt.
      
      Wenn dein Terminal UTF-8 ist und du nicht ständig ein encode() bei jedem print machen möchtest kannst du noch folgendes hinzufügen:
      
      Code: (dl )
      
      1 2
      
      use open ':encoding(UTF-8)'; use open ':std';
      
      Das bewirkt aber auch das jedes Dateihandle mit UTF-8 decodiert wird!
      Nicht mehr aktiv. Bei Kontakt: ICQ: 404181669 E-Mail: perl@david-raab.de
      - pktm
        
        2009-12-08 15:29
        
        User since
        2003-08-07
        2921 Artikel
        BenutzerIn
        
        So, das war's:
        
        Code: (dl )
        
        $title = decode('UTF-8', $title);
        
        und schon meckert Class::CSV nicht mehr.
        
        Code: (dl )
        
        1 2
        
        use open ':encoding(UTF-8)'; use open ':std';
        
        und ich sehe auf der Konsole sogar tatsächlich, was es sein sollte.
        
        Hoffentlich sieht das in der CSV-Datei nachher genauso aus :)
        http://www.intergastro-service.de (mein erstes CMS :) )
- +4 replies
- bianca
  
  2009-12-07 12:41
  
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  
  Ganz andere Frage. Aus welchem Grund verwendet man für solch triviale Angelegenheiten ein Modul?
  
  print $FH "ütem;2\n"; ist doch im Code auch viel kürzer als
  $csv->add_line({ item => "ütem", qty => '2'});
  
  Anders gefragt, was nimmt einem in dem Fall ein Modul ab?
  10 print "Hallo"
  20 goto 10
  - GwenDragon
    
    2009-12-07 12:43
    
    User since
    2005-01-17
    14748 Artikel
    Admin1
    
    Woher willst du wissen, dass die Daten in pktms Programm immer so aussehen?
    Das Modul selbst erzeugt korrektes CSV, deswegen ein Modul und weil Programmierer bequem sind und Zeit sparen wollen.
    
    Was machst du denn bitte, wenn ein ; oder " in den Daten vorkommt? Dann versagt deine Methode.
    
    Eben mal mit ; trennen funktioniert oft, ist aber eben nicht korrekt.
    Last edited: 2009-12-07 12:44:44 +0100 (CET)
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - pktm
    
    2009-12-07 12:56
    
    User since
    2003-08-07
    2921 Artikel
    BenutzerIn
    
    Module sind i.d.R. getestet. Außerdem bieten sie einen definierten Funktionsumfang. Das kann zuverkässiger sein, als ein eigens programmiertes Stück Code.
    Die Trennzeichen-Problematik ist z.B. ein Beispiel dafür. An sowas hat der Autor, der ein Modul für die Perl-Gemeinde publiziert, eventuell eher gedacht, weil er sich mit der Thematik schließlich auch irgendwo auseinander gesetzt hat.
    Und selbst wenn nicht, kommen immer Leute, nutzen das Modul, stellen einen Mangel fest und melden ihn an :)
    So verbessern sich die Module immer wieder.
    http://www.intergastro-service.de (mein erstes CMS :) )
  - pq
    
    2009-12-07 12:57
    
    User since
    2003-08-04
    12208 Artikel
    Admin1
    
    was genau an pktms aussage "und natürlich den Zeichen innerhalb der Felder, die bei der CSV-Datei die Trenneichen sind" verstehst du nicht? das thema hatten wir doch neulich schonmal. weisst du immer noch nicht, dass trennzeichen bzw. quotes in CSV besonders behandelt werden müssen? machst du das immer selber?
    Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
    lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem

View all threads created 2009-12-07 11:42.