csv-Dateien parsen (Allgemeines zu Perl)

[thread]18955[/thread]

csv-Dateien parsen

Tags: perl5 Ähnliche Threads

Leser: 18

Articles: hide open all | hide show old branches

+15 replies
cohama

2014-03-11 08:55
User since
2011-08-16
102 Artikel
BenutzerIn
Hallo zusammen,

da ich etwas raus aus Perl bin, stehe ich mit meiner aktuellen Herausforderung auf der Stelle.

Es geht darum, dass ich eine cdv-Datei habe, welche ich der ersten Zahl sortieren und neu erstellen muss.
Beispiel:
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44

201;215388; 201;48639860;48639869 201;48639870;48639879 201;48639880;48639889 201;48639890;48639899 201;5589000; 201;55890010;55890019 201;55890020;55890029 201;55890100;55890149 201;5589026; 201;5589027; 201;5589028; 201;5589029; 201;55891000;55891999 201;5589219; 201;5589400; 201;5589401; 203;7329283; 203;73297000;73297399 203;7329789; 203;7329900; 203;7329911; 203;7329922; 203;7329988; 2041;7549009; 2041;7549010; 2041;7549011; 2041;7549012; 2041;7549013; 2041;7549014; 2041;7549015; 2041;7549016; 2041;7549017; 2041;7549018; 2041;7549019; 2041;7549027; 2041;7549028; 2041;7549029; 2043;9829006; 2043;9829007; 2043;9829008; 2043;9829009; 2043;9829019; 2043;9829029;
Anhand dessen, kann ich das Thema wahrscheinlich besser erläutern. Es geht darum, dass ich die Text-Datei anhand der ersten Zahl der Zeile analysieren muss. Als Ergebnis brauche ich folgendes:
Code: (dl )

1 2 3

201;215388;5589401; 203;7329283;7329988; 2041;7549009;7549029;
Danke
- bianca
  
  2014-03-11 08:56
  
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  
  Wie groß können die Quelldateien maximal werden?
  10 print "Hallo"
  20 goto 10
- +4 replies
- rosti
  
  2014-03-11 10:22
  
  User since
  2011-03-19
  3492 Artikel
  BenutzerIn
  
  Du legst die CSV-Struktur um auf einen Hash mit Referenzen auf Col1, Col2, Col2 und diesen Hash kannst Du nach jeder beliebigen Spalte sortieren, brauchst Du ein Beispiel?
  - +3 replies
  - cohama
    
    2014-03-11 10:32
    
    User since
    2011-08-16
    102 Artikel
    BenutzerIn
    
    Hallo zusammen,
    
    vielen Dank soweit. Die csv-Datei kann bis zu 65 000 Zeilen beinhalten.
    Ein Beispiel wäre natürlich super.
    
    Bye
    - +2 replies
    - rosti
      
      2014-03-11 11:09
      
      User since
      2011-03-19
      3492 Artikel
      BenutzerIn
      
      Prinzip: http://rolfrost.de/csv_names.html
      oder Text::CSV
      
      Im Ergebnis hast Du entweder ein Array mit Hash-Referenzen oder einen Hash mit Hash-Referenzen wobei die Felder (Spalten) namentlich genannt sind. Darauf sitzt dann die Sortierung.
      
      Anonym, nur als Index hättest Du die Spalten in [0], [1], [2], geht auch und geht auch schneller, musst nur genauer hingucken ;)
      
      PS: Dateien mit 65T Zeilen sind mit Perl kein Thema.
      - Raubtier
        
        2014-03-11 11:35
        
        User since
        2012-05-04
        1076 Artikel
        BenutzerIn
        
        2014-03-11T10:09:12 rosti
        Prinzip: http://rolfrost.de/csv_names.html
        
        Auf deiner Seite:
        
        Code (perl): (dl )
        
        1 2
        
        $line =~ s/^\d+//; # strip leading spaces $line = unpack "A*", $line; # Entferne Zeilenende und Leerzeichen am
        
        Ähm, ja. Ich sag mal weiter nichts dazu...
- Raubtier
  
  2014-03-11 11:07
  User since
  2012-05-04
  1076 Artikel
  BenutzerIn
  Ich verstehe die Anforderung noch nicht richtig.
  
  Du willst u.a. folgende Zeile herausbekommen:
  
  Code: (dl )
  
  201;215388;5589401;
  
  Die 215388 verstehe ich, das ist die erste Zahl in der 2. Spalte. Aber wo kommt die 5589401 her?
  
  Ansonsten dachte ich, dass die vielleicht sort -nu eingabedatei helfen würde, aber das nimmt immer nur die erste Zeile, gibt also in deinem Fall folgendes aus:
  
  Code: (dl )
  
  1 2 3 4
  
  201;215388; 203;7329283; 2041;7549009; 2043;9829006;
- +4 replies
- bianca
  
  2014-03-11 11:13
  
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  
  Auf welchem OS soll das verarbeitet werden? Welches Perl steht zur Verfügung? Können CPAN Module nachinstalliert werden?
  10 print "Hallo"
  20 goto 10
  - cohama
    
    2014-03-11 11:39
    
    User since
    2011-08-16
    102 Artikel
    BenutzerIn
    
    Hallo bianca,
    
    ich nutze Perl 5.10 auf einem CentOS 6 System. Eventuell muss es auch noch auf Mac Mavericks laufen.
    
    Bye
  - +2 replies
  - Raubtier
    
    2014-03-11 11:40
    
    User since
    2012-05-04
    1076 Artikel
    BenutzerIn
    
    Ich denke, dass das für die gegebene Anforderung völlig egal ist. Es sind nur Zahlen, daher reicht ein split zum Splitten aus (man bracht hier wohl kein CSV-Modul). Das geht auch alles in Uralt-Perl.
    - rosti
      
      2014-03-11 11:59
      
      User since
      2011-03-19
      3492 Artikel
      BenutzerIn
      
      2014-03-11T10:40:44 Raubtier
      Ich denke, dass das für die gegebene Anforderung völlig egal ist. Es sind nur Zahlen, daher reicht ein split zum Splitten aus (man bracht hier wohl kein CSV-Modul). Das geht auch alles in Uralt-Perl.
      
      Full Ack, split reicht vollkommen.
- +3 replies
- GwenDragon
  
  2014-03-11 12:51
  User since
  2005-01-17
  14761 Artikel
  Admin1
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75
  
  use Modern::Perl; my %data; while (<DATA>) { chomp; # newline entfernen my ($k, $v1, $v2) = split /;/; # splitte Datensatz $data{$k} //= [ $v1, $v2//0 ]; # Datenarray setzen falls noch nicht existent $data{$k}->[0] = $v1 if $v1 < $data{$k}->[0]; # setze Minimum aus erstem Wert $data{$k}->[1] = $v2 if length $v2 && $v2 gt $data{$k}->[1]; # setze Maximum aus zweitem Wert $data{$k}->[0] = $v2 if length $v2 && $v2 lt $data{$k}->[0]; # setze Minimum aus zweitem Wert $data{$k}->[1] = $v1 if length $v1 && $v1 gt $data{$k}->[1]; # setze Maximum aus erstem Wert } # Daten wieder ausgeben say join ";",$_,@{$data{$_}} for sort keys %data; __DATA__ 201;215388; 201;48639860;48639869 201;48639870;48639879 201;48639880;48639889 201;48639890;48639899 201;5589000; 201;55890010;55890019 201;55890020;55890029 201;55890100;55890149 201;5589026; 201;5589027; 201;5589028; 201;5589029; 201;55891000;55891999 201;5589219; 201;5589400; 201;5589401; 203;7329283; 203;73297000;73297399 203;7329789; 203;7329900; 203;7329911; 203;7329922; 203;7329988; 2041;7549009; 2041;7549010; 2041;7549011; 2041;7549012; 2041;7549013; 2041;7549014; 2041;7549015; 2041;7549016; 2041;7549017; 2041;7549018; 2041;7549019; 2041;7549027; 2041;7549028; 2041;7549029; 2043;9829006; 2043;9829007; 2043;9829008; 2043;9829009; 2043;9829019; 2043;9829029;
  
  ergibt:
  201;215388;5589401 203;7329283;7329988 2041;7549009;7549029 2043;9829006;9829029
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +2 replies
  - Raubtier
    
    2014-03-11 13:55
    
    User since
    2012-05-04
    1076 Artikel
    BenutzerIn
    
    Ein paar Kommentare
    
    - use Modern::Perl --> ich würde es vermeiden, insbesondere da sich dieses Modul einfach ersetzen lässt und es unter CentOS sicher manuell nachinstalliert werden müsste - außerdem steht in der entsprechenden Doku, dass Perl 5.10 ab Sommer nicht mehr unterstützt wird. "use strict; use warnings; use feature qw(say);" tun es auch.
    
    - Warum vergleichst du einmal mit < und dreimal mit lt/gt?
    
    - Mir ist nicht klar, ob das Programm die Anforderungen erfüllt (weil mir die Anforderungen nicht klar sind) - woraus schließt du anhand des Beispiels, dass hier irgendwo Minimum und Maximum gefragt sind? Es steht da etwas von "anhand der ersten Zahl sortieren". Meine Vermutung war, dass die erste und letzte Zeile wichtig sind, aber wissen tun wir es nicht.
    
    - die fehlt ein ; in der Ausgabe (am Ende jeder Zeile) - noch etwas, das mich stutzig werden lässt, wie die Anforderung denn nun genau ist
    
    - was soll passieren, wenn es eine Zeile nur einmal gibt?
    
    - was soll eigentlich die dritte Zahl (sofern vorhanden)?
    
    (Ich denke, die Fragen sollte hauptsächlich der OP beantworten)
    Last edited: 2014-03-11 13:56:46 +0100 (CET)
    - GwenDragon
      
      2014-03-11 14:21
      
      User since
      2005-01-17
      14761 Artikel
      Admin1
      
      2014-03-11T12:55:29 Raubtier
      - use Modern::Perl --> ich würde es vermeiden, insbesondere da sich dieses Modul einfach ersetzen lässt und es unter CentOS sicher manuell nachinstalliert werden müsste - außerdem steht in der entsprechenden Doku, dass Perl 5.10 ab Sommer nicht mehr unterstützt wird. "use strict; use warnings; use feature qw(say);" tun es auch.
      Was das use Modern::Perl anbelangt ist das reine Faulheit von mir. Ich schreibe aus optischen Gründen nur ungern:
      use strict; use warnings; use feature "say";
      
      Quote
      - Warum vergleichst du einmal mit < und dreimal mit lt/gt?
      Der Vergleich mit < in Zeile 11 ist ein Schreibfehler, den ich übersah.
      
      Quote
      - Mir ist nicht klar, ob das Programm die Anforderungen erfüllt (weil mir die Anforderungen nicht klar sind) - woraus schließt du anhand des Beispiels, dass hier irgendwo Minimum und Maximum gefragt sind? Es steht da etwas von "anhand der ersten Zahl sortieren". Meine Vermutung war, dass die erste und letzte Zeile wichtig sind, aber wissen tun wir es nicht.
      
      - die fehlt ein ; in der Ausgabe (am Ende jeder Zeile) - noch etwas, das mich stutzig werden lässt, wie die Anforderung denn nun genau ist
      
      - was soll passieren, wenn es eine Zeile nur einmal gibt?
      
      - was soll eigentlich die dritte Zahl (sofern vorhanden)?
      
      Ja, ich hab das Ergebnis interpretiert und daraus eine Min/Max/Sortierung geschlussfolgert.
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- roli
  
  2014-03-11 14:26
  
  User since
  2004-12-31
  424 Artikel
  BenutzerIn
  
  Hi,
  
  wenn ich mir die Manpage von sort so ansehe, dann gibt es da die Optionen:
  -k, --key=POS1[,POS2] start a key at POS1, end it at POS 2 (origin 1)
  -n, --numeric-sort compare according to string numerical value
  -t, --field-separator=SEP use SEP instead of non- to whitespace transition
  
  Das sollte doch das Problem auch lösen, oder (jedenfalls auf Unixoiden Systemen)?
  Roland
  --
  "Steh vorn, während du fragst;
  sitzen soll, wer antwortet."
  Aus "Die Edda des Snorri Sturluson" "Gylfis Täuschung" Strophe 2

View all threads created 2014-03-11 08:55.