Array-Lines zählen (gelöst) (Allgemeines zu Perl)

[thread]19077[/thread]

Array-Lines zählen [gelöst]

Tags: perl5 Ähnliche Threads

Leser: 20

Articles: hide open all | hide show old branches

+13 replies

cohama

2014-05-06 15:09

User since
2011-08-16
102 Artikel
BenutzerIn

user image

Hallo zusammen,

ich hoffe, dass jemand mir einen Startpunkt geben kann.
Es darum, dass ich ein LogFile habe, welches ich zeilenweise in eine Array einlese.
Jetzt muss das Script zum einem die Zeilen zählen, wenn die erste Zahl der jeweiligen Zeile gleich ist.

Beispiel:

Code: (dl )

3681     OUT 2014-05-06 12:57:05 22     30     3338359406   3338753402   unkown           8414        
3681     OUT 2014-05-06 12:39:44 37     43     3338359406   3338753402   unkown           8414        
3681     OUT 2014-05-06 11:56:15 191    210    3338359406   3338753402   unkown           3991110     
3681     OUT 2014-05-06 12:06:15 0      10     3338359406   3338753402   unkown           033372270   
5494     OUT 2014-05-06 06:25:48 149    172    3375550834   X            international    0038763931307
5494     OUT 2014-05-06 07:43:49 419    443    3375585134   X            international    0038763649266
5494     OUT 2014-05-06 11:41:07 127    141    3375585134   X            international    002207733514
5494     OUT 2014-05-06 08:54:48 252    259    3375550834   X            international    00447589972757
5494     OUT 2014-05-06 01:28:17 0      11     3375585133   X            international    0023221350752
5494     OUT 2014-05-06 11:41:15 121    133    3375550834   X            international    0022062892015
5494     OUT 2014-05-06 01:28:25 0      10     3375585133   X            international    005331997555
5494     OUT 2014-05-06 01:28:39 0      12     3375585133   X            international    002392204144
5494     OUT 2014-05-06 08:15:03 0      14     3375585133   X            international    0038763456569
5494     OUT 2014-05-06 08:15:02 0      14     3375585134   X            international    0038763649266
5494     OUT 2014-05-06 11:41:09 122    131    3375585133   X            international    0022062892015
5494     OUT 2014-05-06 08:14:36 0      14     3375585134   X            international    0038763649266
5494     OUT 2014-05-06 01:29:00 0      10     3375585133   X            international    0037125050148
7787     OUT 2014-05-06 04:06:37 125    132    3376290890   X            international    00447589972819
7787     OUT 2014-05-06 04:06:51 124    131    3376290890   X            international    00447589972819
7787     OUT 2014-05-06 04:06:58 127    134    3376290890   X            international    00447589972819
7787     OUT 2014-05-06 07:24:22 121    128    3376290890   X            international    00447589972819
7787     OUT 2014-05-06 08:44:07 126    133    3376290890   X            international    00447589972819
7787     OUT 2014-05-06 04:07:26 119    126    3376290890   X            international    00447589972819
7787     OUT 2014-05-06 04:07:40 122    129    3376290890   X            international    00447589972819
7787     OUT 2014-05-06 10:48:55 127    146    3376290890   X            international    002207396071

+4 replies

payx

2014-05-06 15:22

User since
2006-05-04
564 Artikel
BenutzerIn

user image

Hallo cohama,

Code (perl): (dl )

#!/usr/bin/perl

use strict;
use warnings;

use Data::Dumper;

my @data; # Das Array, das Du schon erzeugst
my %id_count; # Hash: zu jeder ID (die Zahlen am Zeilenanfang) die Anzahl der Vorkommen

while (my $row = <DATA>) {
    
    chomp $row;
    
    push @data, $row;
    
    my ($id) = ($row =~ /^(\d+)/);
    
    $id_count{$id}++;

}

print Dumper \%id_count;

__DATA__
3681     OUT 2014-05-06 12:57:05 22     30     3338359406   3338753402   unkown           8414        
3681     OUT 2014-05-06 12:39:44 37     43     3338359406   3338753402   unkown           8414        
3681     OUT 2014-05-06 11:56:15 191    210    3338359406   3338753402   unkown           3991110     
3681     OUT 2014-05-06 12:06:15 0      10     3338359406   3338753402   unkown           033372270   
5494     OUT 2014-05-06 06:25:48 149    172    3375550834   X            international    0038763931307
5494     OUT 2014-05-06 07:43:49 419    443    3375585134   X            international    0038763649266
5494     OUT 2014-05-06 11:41:07 127    141    3375585134   X            international    002207733514
5494     OUT 2014-05-06 08:54:48 252    259    3375550834   X            international    00447589972757
5494     OUT 2014-05-06 01:28:17 0      11     3375585133   X            international    0023221350752
5494     OUT 2014-05-06 11:41:15 121    133    3375550834   X            international    0022062892015
5494     OUT 2014-05-06 01:28:25 0      10     3375585133   X            international    005331997555
5494     OUT 2014-05-06 01:28:39 0      12     3375585133   X            international    002392204144
5494     OUT 2014-05-06 08:15:03 0      14     3375585133   X            international    0038763456569
5494     OUT 2014-05-06 08:15:02 0      14     3375585134   X            international    0038763649266
5494     OUT 2014-05-06 11:41:09 122    131    3375585133   X            international    0022062892015
5494     OUT 2014-05-06 08:14:36 0      14     3375585134   X            international    0038763649266
5494     OUT 2014-05-06 01:29:00 0      10     3375585133   X            international    0037125050148
7787     OUT 2014-05-06 04:06:37 125    132    3376290890   X            international    00447589972819
7787     OUT 2014-05-06 04:06:51 124    131    3376290890   X            international    00447589972819
7787     OUT 2014-05-06 04:06:58 127    134    3376290890   X            international    00447589972819
7787     OUT 2014-05-06 07:24:22 121    128    3376290890   X            international    00447589972819
7787     OUT 2014-05-06 08:44:07 126    133    3376290890   X            international    00447589972819
7787     OUT 2014-05-06 04:07:26 119    126    3376290890   X            international    00447589972819
7787     OUT 2014-05-06 04:07:40 122    129    3376290890   X            international    00447589972819
7787     OUT 2014-05-06 10:48:55 127    146    3376290890   X            international    002207396071

HTH
Grüße
payx

+3 replies
cohama

2014-05-06 15:56

User since
2011-08-16
102 Artikel
BenutzerIn

Hallo payx,

vielen Dank für die Zeilen deiner Unterstützung.
Wenn ich jetzt einen letzten Wunsch formulieren darf.
Es ist wichtig, dass je ID die sechse Spalte aufsummiert und hinter der Anzahl ausgegeben wird.

Danke

Bye
- pq
  
  2014-05-06 16:04
  
  User since
  2003-08-04
  12208 Artikel
  Admin1
  
  da müsstest du eigentlich nur die zeilen 17 und 19 ein wenig anpassen, mehr nicht.
  also mehr in die regex, oder statt regex eher unpack nehmen, ist ja ne feste breite.
  und statt ++ dann einfach die jeweilige zahl draufaddieren.
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- GwenDragon
  
  2014-05-06 16:17
  User since
  2005-01-17
  14757 Artikel
  Admin1
  In der Schleife:
  
  Code (perl): (dl )
  
  1 2 3 4
  
  my ($id,undef,undef,undef,undef,$count) = (split/\s+/,$row); # Zeile nach Leerzeichen in mehrere Felder aufsplitten # undef bedeutet hier: Ergebnis des split wegwerfen, also: unwichtige Spalte wegwerfen $id_count{$id}{anz}++; # Auftreten des IDs zählen $id_count{$id}{sum} += $count; # sechste Spalte des IDs aufsummieren
  
  Und für die Ausgabe:
  
  Code (perl): (dl )
  
  1 2 3 4
  
  printf # formatiert ausgeben '%-6d %-6d %-6d\n', # alle Felder 6 Zeichen breit, linksbündig $_,$id_count{$_}{anz},$id_count{$_}{sum} # Werte der Felder for keys %id_count; # für alle Schlüssel im Hash
  
  Last edited: 2014-05-06 16:29:56 +0200 (CEST)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

+8 replies
hlubenow

2014-05-06 17:52
User since
2009-02-22
875 Artikel
BenutzerIn
Ich benutze bei sowas gern "split()" (und weniger RegEx). Mußt mal gucken, was bei Dir genau der Separator ist (vermutlich "\t"). Wenn das bei Dir einheitlich ist, braucht man die Funktion "prepareLine()" nicht:
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54

#!/usr/bin/perl use warnings; use strict; sub prepareLine { my $a = shift; $a =~ s/ +/ /g; return $a; } my @data = <DATA>; my $i; my $u; my @a; my %id_count; my %six_count; my $sep = " "; foreach $i (@data) { chomp($i); $i = &prepareLine($i); @a = split($sep, $i); $id_count{$a[0]}++; $six_count{$a[0]} += $a[5]; } for $i (sort(keys(%id_count))) { print "$i\t$id_count{$i}\t$six_count{$i}\n"; } __DATA__ 3681 OUT 2014-05-06 12:57:05 22 30 3338359406 3338753402 unkown 8414 3681 OUT 2014-05-06 12:39:44 37 43 3338359406 3338753402 unkown 8414 3681 OUT 2014-05-06 11:56:15 191 210 3338359406 3338753402 unkown 3991110 3681 OUT 2014-05-06 12:06:15 0 10 3338359406 3338753402 unkown 033372270 5494 OUT 2014-05-06 06:25:48 149 172 3375550834 X international 0038763931307 5494 OUT 2014-05-06 07:43:49 419 443 3375585134 X international 0038763649266 5494 OUT 2014-05-06 11:41:07 127 141 3375585134 X international 002207733514 5494 OUT 2014-05-06 08:54:48 252 259 3375550834 X international 00447589972757 5494 OUT 2014-05-06 01:28:17 0 11 3375585133 X international 0023221350752 5494 OUT 2014-05-06 11:41:15 121 133 3375550834 X international 0022062892015 5494 OUT 2014-05-06 01:28:25 0 10 3375585133 X international 005331997555 5494 OUT 2014-05-06 01:28:39 0 12 3375585133 X international 002392204144 5494 OUT 2014-05-06 08:15:03 0 14 3375585133 X international 0038763456569 5494 OUT 2014-05-06 08:15:02 0 14 3375585134 X international 0038763649266 5494 OUT 2014-05-06 11:41:09 122 131 3375585133 X international 0022062892015 5494 OUT 2014-05-06 08:14:36 0 14 3375585134 X international 0038763649266 5494 OUT 2014-05-06 01:29:00 0 10 3375585133 X international 0037125050148 7787 OUT 2014-05-06 04:06:37 125 132 3376290890 X international 00447589972819 7787 OUT 2014-05-06 04:06:51 124 131 3376290890 X international 00447589972819 7787 OUT 2014-05-06 04:06:58 127 134 3376290890 X international 00447589972819 7787 OUT 2014-05-06 07:24:22 121 128 3376290890 X international 00447589972819 7787 OUT 2014-05-06 08:44:07 126 133 3376290890 X international 00447589972819 7787 OUT 2014-05-06 04:07:26 119 126 3376290890 X international 00447589972819 7787 OUT 2014-05-06 04:07:40 122 129 3376290890 X international 00447589972819 7787 OUT 2014-05-06 10:48:55 127 146 3376290890 X international 002207396071
Bei großen Dateien empfehle ich zudem Tie::File.
- +7 replies
- Linuxer
  
  2014-05-06 18:09
  
  User since
  2006-01-27
  3890 Artikel
  HausmeisterIn
  
  Hi,
  
  bitte $a und $b nicht "fremdnutzen".
  Die sind global fürs Sortieren vordefiniert und sollten nicht für anderes verwendet werden.
  Eigentlich heißt es, wenn noch sortiert werden soll, aber am besten ist es, sich diese Variablennamen gar nicht anzugewöhnen; egal wie kurz der verwendende Codeblock auch ist (ausser für Sortierroutinen).
  
  Warum veränderst Du aufwendig die Datenzeile? split() verarbeitet doch Regex-Pattern.
  Du kannst also problemlos an m/ +/ splitten lassen, oder an m/\s+/. Man muss halt darauf achten, dass die Datensätze kein mögliches Trennzeichen enthalten (gerade bei Verwendung von \s, das ja mehrere Zeichen beinhaltet, ist darauf zu achten (Z.B. Trenner ist Tab; Datensätze enthalten " ").
  meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
  Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
  - +6 replies
  - hlubenow
    
    2014-05-06 20:08
    
    User since
    2009-02-22
    875 Artikel
    BenutzerIn
    
    2014-05-06T16:09:38 Linuxer
    bitte $a und $b nicht "fremdnutzen".
    Die sind global fürs Sortieren vordefiniert und sollten nicht für anderes verwendet werden.
    
    In Perl sind sie vordefiniert, in anderen Sprachen nimmt man/nehme ich sie gern als Standardvariablen. IMHO ist es eher an Perl, sich anzupassen.
    Man hätte viele Ausdrücke für sort() verwenden können, warum mußten es ausgerechnet $a und $b sein?
    
    Linuxer
    Warum veränderst Du aufwendig die Datenzeile? split() verarbeitet doch Regex-Pattern.
    
    Weil der Separator beim OP sicherlich nicht mal 1 Leerzeichen, mal 5 Leerzeichen ist.
    Regex-Pattern in Perl sind mir zudem eher unheimlich, eben weil einfacher geschriebene split()-Varianten in anderen Sprachen sie nicht unterstützen dürften.
    
    Beides hängt mit meiner Vorstellung zusammen, möglichst allgemein zu schreiben und sprachspezifische Konstrukte möglichst zu vermeiden (siehe hier).
    Last edited: 2014-05-06 20:10:20 +0200 (CEST)
    - Muffi
      
      2014-05-06 21:02
      
      User since
      2012-07-18
      1465 Artikel
      BenutzerIn
      
      Wenn du eh so scharf drauf bist, dass jede Sprache gleich aussieht wär ein guter Anfang die & bei Funktionsaufrufen wegzulassen.
      1 + 1 = 10
    - Linuxer
      
      2014-05-06 22:08
      
      User since
      2006-01-27
      3890 Artikel
      HausmeisterIn
      
      Das tut mir sehr leid, dass Dir tolle Sprach-Features unheimlich sind und Du deswegen die jeweiligen Stärken der verschiedenen Sprachen nicht kennenlernen magst.
      Last edited: 2014-05-06 22:23:58 +0200 (CEST)
      meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
      Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
    - GUIfreund
      
      2014-05-07 19:03
      
      User since
      2011-08-08
      559 Artikel
      BenutzerIn
      
      2014-05-06T18:08:38 hlubenow
      Beides hängt mit meiner Vorstellung zusammen, möglichst allgemein zu schreiben und sprachspezifische Konstrukte möglichst zu vermeiden.
      
      Benutzt du also in Perl das "C-style"-for statt des "Perl-style"-for?
      
      Oder allgemeiner: Nimmst du den kleinsten gemeinsamen Nenner? Fände ich schade.
      Last edited: 2014-05-08 00:17:56 +0200 (CEST)
      Gruß
      GUIfreund
    - +2 replies
    - hlubenow
      
      2014-05-08 00:18
      
      User since
      2009-02-22
      875 Artikel
      BenutzerIn
      
      Zum Beispiel hab' ich neulich was in Lua geschrieben, um für eine bestehende Anwendung was dazuzuentwickeln. Zu diesem Zweck lieferte die Anwendung den Lua-Interpreter mit, der extrem klein ist, aber nicht Perl oder anderes. Lua hat kein eingebautes split(), ich brauchte das aber, also hab' ich selbst was geschrieben:
      
      Code (lua): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14
      
      function split(s, plain_sep) local stringtable = {} local start = 1 local found = string.find(s, plain_sep, start) while found ~= nil do table.insert(stringtable, string.sub(s, start, found - 1)) start = found + string.len(plain_sep) found = string.find(s, plain_sep, start) end if start <= string.len(s) then table.insert(stringtable, string.sub(s, start)) end return stringtable end
      
      Meine kleine Funktion unterstützt eben keine RegExes. Es gibt noch andere Ansätze, und manche davon unterstützen es möglicherweise, aber ich hatte nicht die Zeit zu prüfen, ob die Funktionen dort alle richtig arbeiten. Also lieber ohne RegEx.
      Wenn etwas lokal im Browser laufen soll, schreibe ich auch in JavaScript. Manchmal (für Word) auch in VisualBasic oder (für OpenOffice) in StarBasic.
      Größere Sachen mit OOP schreibe ich meist in Python (ich hatte einen längeren Konflikt mit mir selbst :), ob ich dafür Perl oder Python verwenden will).
      
      Python kennt (leider) keine Schleifen im C-Stil. Man muß da also einen Iterator nehmen:
      
      Code (python): (dl )
      
      1 2 3 4
      
      #!/usr/bin/python a = (1, 2, 3) for i in a: print i
      
      Das entspricht
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9
      
      #!/usr/bin/perl use warnings; use strict; my @a = (1, 2, 3); foreach my $i (@a) { print "$i\n"; }
      
      An foreach habe ich mich also (notgedrungen) gewöhnt.
      
      Insgesamt kommt das alles daher, daß mir keiner verbindliche Vorschriften macht, was ich wie zu schreiben habe (etwa ein Professor oder ein Chef), sondern daß das alles sowieso nur Hobby für mich ist, so daß ich da sehr frei bin und mir höchstens selbst Richtlinien gebe, die aus den Erfahrungen folgen, die ich während des Schreibens in verschiedenen Skript-Sprachen mache.
      - Raubtier
        
        2014-05-08 01:07
        
        User since
        2012-05-04
        1076 Artikel
        BenutzerIn
        
        2014-05-07T22:18:56 hlubenow
        An foreach habe ich mich also (notgedrungen) gewöhnt.
        
        Notgedrungen? Wow! Das widerspricht völlig meiner Erwartung, denn die Loops über eine Collection sind doch viel schöner als eine for-loop von 0 bis size-1!
        
        Auch in Java und C++ gibt es diese Art der for-Loop (jeweils als for (variable : container) .... Wenn immer es geht, ist das doch viel schöner, weil man nicht mehr mit irgendwelchen Indizes rumhantieren muss! In beiden Sprachen ist diese Loop-Art erst "vor kurzem" (für geeignete Werte von "kurz", Java 1.5, C++11) hinzugefügt worden, eben weil sie doch so toll ist!
        
        Ich nutze gerade gerne die sprachspezifischen Vorteile der jeweils benutzten Sprache. Denn dadurch ergeben sich oft viel kürzere und leichter lesbare, vor allem aber sprachtypische Konstrukte!
        Last edited: 2014-05-08 01:12:50 +0200 (CEST)

View all threads created 2014-05-06 15:09.