Erste CSV-Zeile als Stringnamen verwenden (Allgemeines zu Perl)

[thread]15526[/thread]

Erste CSV-Zeile als Stringnamen verwenden

Tags: CSV Ähnliche Threads

Leser: 24

Articles: hide open all | hide show old branches

+8 replies
Gast Steven

2010-10-12 17:43

Hallo.
Mich plagt ein kleines Problem:
Ich lese eine csv-Datei ein (Trenner ;), das klappt auch.
Dabei soll allerdings die erste Zeile als Stringnamen verwendet werden, ab der 2. Zeile stehen die Daten. Im Momant habe ich die Stringsnamen fest im Script.

Am Ende soll das ähnlich erfolgen:
Erstellung einer CSV-Datei: 1.Zeile Stringnamen(natürlich ohne $) ab Zeile 2 die Daten. Wobei die Stringnamen dann nicht mehr die gleichen und in einer anderen Reihenfolge sind.

Kann mich da jemand auf den richtigen Weg bringen?
Last edited: 2010-10-12 17:46:09 +0200 (CEST)
- bianca
  
  2010-10-12 19:02
  
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  
  Vielleicht wäre das über ein Hash lösbar?
  $hash{zeile1} = "zeile2,zeile3...";
  10 print "Hallo"
  20 goto 10
- payx
  
  2010-10-12 21:02
  User since
  2006-05-04
  564 Artikel
  BenutzerIn
  Hallo Steven,
  
  meinst Du, dass die erste Zeile die Überschriften enthält?
  
  Dann ist der Vorschlag von Bianca im Prinzip gut, die Werte aus der ersten Zeile könnten die keys eines HoA sein, die values jeweils ArrayRefs mit den dazugehörigen Werten.
  
  Es kommt natürlich darauf an, wie Du die Daten weiterverarbeiten willst.
  
  Vielleicht ist auch so ein Ansatz gut für Deine Zwecke:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
  
  #!/usr/bin/perl use strict; use warnings; my $csvPath; # Pfad zu Deinem csv-Dokument open my $csvFH, "<", $csvPath or die $!; my @header = split /;/, <$csvFH>; print join "\t", @header; while (my @row = split /;/, <$csvFH>) { print join "\t", @row; }
  
  HTH
  Grüße
  payx
- +5 replies
- pq
  
  2010-10-12 21:32
  User since
  2003-08-04
  12208 Artikel
  Admin1
  ich schreib mal, wie ich das verstanden habe. schreib am besten ein kleines beispiel, damit man auch versteht, was du möchtest.
  du hast eine csv-datei, die du einliest, mit folgenden feldern als überschrift: "name;vorname;jahr"
  du willst eine zweite csv-datei generieren, die aus der ersten die felder liest und die nur bestimmte felder der ersten enthalten soll, angegeben über einen string, z.b. "jahr;name".
  
  richtig?
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
  
  use Text::CSV; my $csv = Text::CSV->new({sep_char => ";"}); open my $fh, "<", "csv1" or die $!; open my $out, ">", "csv2" or die $!; chomp(my $header1 = <$fh>); my $header2 = "jahr;name"; # überschrift der neuen datei my %headers1 = do { my $i = 0; map { $_ => $i++ } split /;/, $header1; }; my @headers2 = map { $headers1{$_} } split /;/, $header2; print $out "$header2\n"; # neue überschrift ausgeben while (my $line = <$fh>) { my $status = $csv->parse($line) or die $csv->error_diag; my @columns = $csv->fields(); $status = $csv->combine(@columns[@headers2]) or die $csv->error_diag; $line = $csv->string(); print $out "$line\n"; }
  
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - +2 replies
  - murphy
    
    2010-10-13 09:32
    User since
    2004-07-19
    1776 Artikel
    HausmeisterIn
    
    2010-10-12T19:32:09 pq
    [...]
    
    Code (perl): (dl )
    
    1 2 3 4 5
    
    use Text::CSV; my $csv = Text::CSV->new({sep_char => ";"}); [...] my @headers2 = map { $headers1{$_} } split /;/, $header2; [...]
    
    Da existiert schon ein CSV-Parserobjekt und trotzdem wird eine Zeile der CSV-Datei mittels -f split "geparst". In der Headerzeile einer CSV-Datei können genausogut Felder mit Quotes vorkommen wie in jeder anderen, also wäre es besser, auch diese Zeile mit Methoden von $csv zu zerlegen.
    When C++ is your hammer, every problem looks like your thumb.
    - pq
      
      2010-10-13 09:41
      
      User since
      2003-08-04
      12208 Artikel
      Admin1
      
      wollte nur mal schauen, ob es jemand bemerkt ;-)
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - +2 replies
  - Steven
    
    2010-10-14 12:28
    User since
    2010-10-14
    1 Artikel
    BenutzerIn
    
    Vielen Dank für die schnellen Anworten und Hinweise.
    Ich hänge mein Script mal stark gekürzt an, dann lässt sich mein Problem besser erklären:
    
    Code (perl): (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63
    
    #!/usr/bin/perl use CGI; use strict; use IO::File; my $x=0; my $csv = "internet.csv"; my @csvdaten; my ($status, $artnr, $name, $short_description); my $headdesc = '($status, $artnr, $name, $short_description)'; my $content = $headdesc; # Datei internet.csv öffnen open (IN_CSV, "<$csv") || die "Datei internet.csv nicht lesbar"; # csv-Datei zeilenweise auswerten while (<IN_CSV>){ chop($_); $x++; if ($x=='1') { $_ =~ s/[ .{}]//g; $headdesc =~ s/[ \$]//g; $headdesc =~ s/,/;/g; open (OUT_STAMM, ">internet_artikelstamm.csv"); print OUT_STAMM $headdesc, "\n"; close (OUT_STAMM); } else { my ($ArtikelNr, $Bezeichnung, $Bezeichnung2) = split(/;/,$_); $artnr = $ArtikelNr; $name = $Bezeichnung; $short_description = $Bezeichnung2; $status = "Aktiviert"; # # # weitere Manipulation der String-Daten } my @stammdaten = ($status, $artnr, $name, $short_description); if (($name !~ /\*\*/)) { my $artikelstamm = join(';',@stammdaten); open (OUT_STAMM, ">>internet_artikelstamm.csv"); print OUT_STAMM $artikelstamm, "\n"; close (OUT_STAMM); } } close IN_CSV;
    
    Hintergrund:
    Ich bekomme eine maschinell erstellte csv-Datei(internet.csv) zur Verfügung gestellt bei der sich die Spaltenreihenfolge und -anzahl ändern kann. Deswegen will ich die Zuordnung der Variablen nicht fest hintelegen.
    
    Am Ende der Verarbeitung brauche ich eine csv-Datei deren Format fix ist, die Überschriften haben dann eine andere Bezeichnung und Reihenfolge als die Original-Datei. Die Zuordnung erfolgt im Mittelteil - hier werden auch teilweise die Daten manipuliert. Dafür will ich die Variablen nur einmal fest hinterlegen und daraus sollen dann sowohl die Überschriften als auch die Daten generiert werden.
    Bsp:
    1.Zeile: status;artnr;name;short_description
    2.Zeile: $status;$artnr;$name;$short_description
    3.Zeile: $status;$artnr;$name;$short_description
    usw
    
    Ich hoffe das war jetzt etwas verständlicher. Vielen Dank für eure Hilfe.
    Last edited: 2010-10-14 12:34:52 +0200 (CEST)
    - payx
      
      2010-10-14 19:01
      
      User since
      2006-05-04
      564 Artikel
      BenutzerIn
      
      Hallo Steven,
      
      so recht klar ist mir nicht, was Dein Problem eigentlich ist.
      
      Von den guten Hinweisen, die Du hier bekommen hast, hast Du eigentlich so gut wie nichts umgesetzt, wenn ich es recht sehe. Beispielsweise der Vorschlag Text::CSV zu verwenden, wäre natürlich gut. Eine Lösung wie Deine (und meine hier unten), wird möglicherweise nicht allen Besonderheiten eines csv-Files gerecht (siehe Thread: Quotes, Trennzeichen in Feldern usw.).
      
      Im Kern geht es wohl darum, die Einzelwerte in den Zeilen im csv mit ihren jeweiligen Überschriften zu assoziieren. Das geht am besten mit einem Hash (key = Überschrift, value = Wert). In meinem Beispiel wird das Hash pro Zeile neu erzeugt und gleich wieder ausgedruckt. (Wenn die Daten nicht nur zeilenweise verarbeitet werden sollen, brauchst Du ein Array von HashRefs; vgl. mein erstes Posting.) Ich gehe dabei davon aus, dass die einzelnen Überschriften in Input und Output identisch sind, nur eben unterschiedlich angeordnet; wenn im Input eine Überschrift fehlt, wird ein Defaultwert gesetzt; zusätzliche Überschriften im Input werden ignoriert.
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39
      
      #!/usr/bin/perl use strict; use warnings; # config my $inPath = "internet.csv"; my $outPath = "internet_artikelstamm.csv"; my $outHeader = 'status;artnr;name;short_description'; my %defaultVal = ('status' => 'Aktiviert'); # / config open (my $inFH, "<", $inPath) || die $!; open (my $outFH, ">", $outPath) || die $!; print $outFH "$outHeader\n"; chomp (my $firstRow = <$inFH>); my @inHeader = split /;/, $firstRow; while (<$inFH>) { chomp($_); my @inRow = split /;/, $_; my %outRow; $outRow{$_}= ($defaultVal{$_} // '') for (split /;/, $outHeader); for my $col (0..@inHeader-1) { $outRow{$inHeader[$col]} = $inRow[$col] if defined ($outRow{$inHeader[$col]}); } next if $outRow{'name'} =~ /\*\*/; my @printRow; push @printRow, $outRow{$_} for split /;/, $outHeader; print $outFH (join ";", @printRow) . "\n"; } close $inFH or die $!; close $outFH or die $!;
      
      HTH
      Grüße
      payx
      
      //Edit: Scalar value @inRow[$col] better written as $inRow[$col] line 29.
      Last edited: 2010-10-14 19:09:15 +0200 (CEST)

View all threads created 2010-10-12 17:43.