Dateien (.bz2) verarbeiten ohne tempfile (Allgemeines zu Perl)

[thread]16600[/thread]

Dateien (.bz2) verarbeiten ohne tempfile

Tags: perl5 Ähnliche Threads

Leser: 17

Articles: hide open all | hide show old branches

+9 replies
monti

2011-08-05 10:47
User since
2011-08-05
57 Artikel
BenutzerIn
Hallo zusammen,

ich habe ein kleines Problem und suche Hilfe :)
Ich will Textdateien (Logfiles, ältere liegen komprimiert als .bz2 vor. ZB detail-20110801.bz2, die aktuellste unkomprimiert) einlesen und verarbeiten. Momentan mache ich das so, dass ich über ein bash skript die Dateien von alt->neu sortiere und über bzcat in ein temporäres File schreibe. Dann öffne ich in meine Perl Skript die Datei ganz normal und verwurste sie mit
Code (perl): (dl )

1 2

open(DATEI,$file); while(<DATEI>)
Nun wollte ich ganz schlau sein und das ohne besagte temporäre Datei machen, denn die wird je nach Anzahl der bz2 Files recht groß.
Also habe ich mir eine subroutine gebastelt die mir eine Dateiliste sortiert:
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

sub byfilename { if($a =~ /detail$/) { return 1; } if($b =~ /detail$/) { return -1; } $a =~ m/(\d+)/; $na = $1; $b =~ m/(\d+)/; $nb = $1; $na <=> $nb; }
Das funktioniert auch soweit:
Code (perl): (dl )

@dateien = sort byfilename </var/log/radius/detail*>;
Da habe ich ein schön sortiertes Array von alt nach neu mit /var/log/radius/detail als neuestem File am Ende.

Hat jemand eine Idee wie ich das nun ohne Umweg über ein temp File verarbeiten kann?
Momentan habe ich eine wirre Idee, das ganze mit map zu einer Liste von bzcats zu verwursten, sowas in der Art:
Code (perl): (dl )

@dateien = map { /\.(bz2)$/ ? "bzcat $_ |" : $_ } @dateien;
Da hänge ich dann aber an der Weiterverarbeitung.
Bin für jeglichen Rat dankbar :)

Tschau
Stefan

modedit Editiert von GwenDragon: Code als Perl formatiert
Last edited: 2011-08-05 10:51:13 +0200 (CEST)
- gelöscht 2011-08-05 10:56
- +4 replies
- Linuxer
  
  2011-08-05 11:02
  User since
  2006-01-27
  3891 Artikel
  HausmeisterIn
  Hi,
  
  ich mach das bei einem meiner Logparser (sinngemäß) nach diesem Schema (ungetestet aus der Erinnerung):
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
  
  ### filehandle = openfile( filename ) sub openfile { my $filename = shift; if ( $filename =~ m{\.bz2\z} ) { open my $fh, '-|', "bzcat $filename" or die "bzcat $filename: $!\n"; } elsif ( $filename =~ m{\.gz\z} ) { open my $fh, '-|', "zcat $filename" or die "zcat $filename: $!\n"; } else { open my $fh, '<', $filename or die "open $filename: $!\n"; } return $fh; }
  
  meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
  Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
  - +3 replies
  - monti
    
    2011-08-05 11:42
    User since
    2011-08-05
    57 Artikel
    BenutzerIn
    
    2011-08-05T09:02:00 Linuxer
    Hi,
    
    ich mach das bei einem meiner Logparser (sinngemäß) nach diesem Schema (ungetestet aus der Erinnerung):
    
    Code (perl): (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
    
    ### filehandle = openfile( filename ) sub openfile { my $filename = shift; if ( $filename =~ m{\.bz2\z} ) { open my $fh, '-|', "bzcat $filename" or die "bzcat $filename: $!\n"; } elsif ( $filename =~ m{\.gz\z} ) { open my $fh, '-|', "zcat $filename" or die "zcat $filename: $!\n"; } else { open my $fh, '<', $filename or die "open $filename: $!\n"; } return $fh; }
    
    thx! hm, aber da habe ich dann quasi jedes file als einzelnes handle, wenn ich das so mache. der haken an der sache ist, ich brauche die ganzen einzelfiles quasi als ein großes handle, weil infos die ich brauche (radius session IDs) teilweise über verschiedene files verstreut sind. und wenn ich die einzeln abarbeite, find ich start und end sessions dann nicht...
    - pq
      
      2011-08-05 12:53
      
      User since
      2003-08-04
      12209 Artikel
      Admin1
      
      du brauchst nicht immer den ganzen artikel zu zitieren, auf den du dich beziehst, durch die struktur ist klar, welcher artikel gemeint ist =)
      nur wenn du dich auf einzelne aussagen direkt beziehst, ist es sinnvoll, diese zu zitieren.
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
    - Linuxer
      
      2011-08-05 14:18
      
      User since
      2006-01-27
      3891 Artikel
      HausmeisterIn
      
      Vielleicht lassen sich die relevanten Zeilen/Informationen pro Datei extrahieren und in einer internen Struktur ablegen. Nachdem dann alle Dateien gelesen und ausgewertet sind, geht es dann daran die Informationen zusammenzusetzen und in Relation zu einander auszuwerten.
      
      Alternativ könnte man auch bei bestimmten Ergebnissen eine Merker-Variable setzen, die kenntlich macht, dass bei einer neuen Datei noch ein offener Schritt aus der letzten Datei übrig ist...
      
      Aber wie genau es machbar wäre, ist ohne mehr Infos, was eigentlich gebraucht wird, nur zu erraten.
      Und dazu bin ich nur noch selten bereit. ;-)
      
      meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
      Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
- +3 replies
- GwenDragon
  
  2011-08-05 11:29
  
  User since
  2005-01-17
  14804 Artikel
  Admin1
  
  Es bestände auch die Möglichkeit ohne bunzip2 auszukommen.
  Mit Compress::Bzip2 lassen sich auch die komprimierten Dateien lesen.
  In jedem Fall muss nixht extra eine Pipe über die Shell aufgemacht werden.
  Oder hast du genügend Speicher für Prozesse?
  Last edited: 2011-08-05 11:31:40 +0200 (CEST)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +2 replies
  - monti
    
    2011-08-05 11:44
    
    User since
    2011-08-05
    57 Artikel
    BenutzerIn
    
    2011-08-05T09:29:23 GwenDragon
    Es bestände auch die Möglichkeit ohne bunzip2 auszukommen.
    Mit Compress::Bzip2 lassen sich auch die komprimierten Dateien lesen.
    In jedem Fall muss nixht extra eine Pipe über die Shell aufgemacht werden.
    Oder hast du genügend Speicher für Prozesse?
    
    speicher sollte jetzt nicht so das problem sein, eher die virtuelle gesamtheit der einzeldateien, das ist meine eigentliches problem...
    - bianca
      
      2011-08-06 06:07
      
      User since
      2009-09-13
      7016 Artikel
      BenutzerIn
      
      monti, lies und beachte bitte http://de.wikipedia.org/wiki/Fullquote
      10 print "Hallo"
      20 goto 10

View all threads created 2011-08-05 10:47.