Mehrere .gz-Dateien holen, entpacken und beinhaltende Text-Dateien zusammenführen (gelöst) (Allgemeines zu Perl)

[thread]16159[/thread]

Mehrere .gz-Dateien holen, entpacken und beinhaltende Text-Dateien zusammenführen [gelöst]

Tags: perl5 Ähnliche Threads

Leser: 19

Articles: hide open all | hide show old branches

+7 replies

QWERTZ7

2011-04-06 10:46

User since
2011-03-22
33 Artikel
BenutzerIn
[default_avatar]

Hi Leute, habe mal wieder ein Problem:

Ich habe einen FTP-Server auf dem mehrere Dateien liegen. Von dem sollen automatisiert nun alle Dateien geladen werden, die ein Erstelldatum von heute bis vor 2 Wochen haben.
Es gibt eine .log-Datei (aktuelle Datei) und der Rest sind als .gz gepackte log-Dateien.

Dateinamen sind:
radius.log (aktuelle Datei)
und z.B. radius.log-20110405.gz --> entpackt radius.log-20110405 (Endung also .log-20110405)

Wenn nun alle Dateien geladen sind sollen diese entpackt werden und an die radius.log gehängt werden, sodass ich nur eine große radius.log erhalte. Die restlichen Dateien sollten daraufhin gelöscht werden.

Was ich bis jetzt habe:

Code: (dl )

use Net::FTP;

   $ftp = Net::FTP->new("HOST", Debug => 0)
     or die "Cannot connect to some.host.name
 
: $@";

   $ftp->login("USER",'PWD')
     or die "Cannot login ", $ftp->message;

   $ftp->cwd("/var/log/radius")
     or die "Cannot change working directory ", $ftp->message;

       $newerr=0;
     @files=$ftp->dir or $newerr=1;
       push @ERRORS, "Can't get file list on $_ $!\n" if $newerr;
       $ftp->quit if $newerr;
       next if $newerr;
        print "Got list $_\n";

print @files;

$ftp->binary();   

foreach $name ('radius.log', 'radius.log-20110405') {

     $ftp->get($name,$name);
                                        }  

   $ftp->quit;
   
   $res = system("gzip.exe -d radius.log-20110405.gz') ");

open (in,"<radius.log");
@radius= <in>;
close in;

open (in,"<radius.log-20110405");
@radius_alt1= <in>;
close in;

open(OUT,">radius.log");
print OUT "@radius";
print OUT "@radius_alt1";
CLOSE(OUT);

Da habe ich bisher testweise ein paar händisch eingetragene Dateien runtergeladen, entpackt und an die radius.log gehängt, klappt auch ganz gut. (Erhalte außerdem noch die Fehlermeldung: undefined subroutine &main::CLOSE called at script.pl line 74)

Nun muss natürlich noch das mit dem Datum automatisiert werden, kann mir da wer helfen?

Gruß
Last edited: 2011-04-06 10:49:59 +0200 (CEST)

+6 replies

GwenDragon

2011-04-06 11:13

User since
2005-01-17
14748 Artikel
Admin1

2011-04-06T08:46:44 QWERTZ7
Erhalte außerdem noch die Fehlermeldung: undefined subroutine &main::CLOSE called at script.pl line 74)

Zeile 45: hast du eine Funktion CLOSE selbst definiert oder meintest du close?

Quote
Nun muss natürlich noch das mit dem Datum automatisiert werden, kann mir da wer helfen?

Was soll denn da genau automatisiert werden, magst du das genauer erläutern?

die Drachin Gwen

Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

+5 replies

QWERTZ7

2011-04-06 11:21

User since
2011-03-22
33 Artikel
BenutzerIn
[default_avatar]

Quote
Zeile 45: hast du eine Funktion CLOSE selbst definiert oder meintest du close?

Die Datei in die ich die Arrays schreibe sollte einfach geschlossen werden.

Quote
Was soll denn da genau automatisiert werden, magst du das genauer erläutern?

Er soll stets die radius.log herunterladen und dann noch automatisch alle .gz-Dateien die bis zu 14 Tage alt sind, diese entpacken und an die radius.log hängen.

Ich will am Ende nur noch eine große radius.log übrig behalten, die restlichen Dateien sollen danach gelöscht werden.

Gruß

+4 replies

suresh

2011-04-07 09:56

User since
2010-10-12
109 Artikel
BenutzerIn
[default_avatar]

Hi,
siehe meine Änderungen unten. Bei dem TODO Kommentar könntest du über ein if statemant deine fileauswahl einschränken(indem du den timestamp jedes files abfragst):

Code: (dl )

use strict;
 22 use warnings;
 23 use Data::Dumper;
 24 use Net::FTP;
 25 
 26 my $ftp;
 27 my $newerr;
 28 my @files;
 29 my @ERRORS;
 30 my $name;
 31 my $res;
 32 my @radius;
 33 my @radius_alt1;
 34 
 35 $ftp = Net::FTP->new("HOST", Debug => 0) or die "Cannot connect to some.host.name: $@";
 36 $ftp->login("USER",'PWD') or die "Cannot login ", $ftp->message;
 37 $ftp->cwd("/var/log/radius") or die "Cannot change working directory ", $ftp->message;
 38 $newerr=0;
 39 @files=$ftp->dir or $newerr=1;
 40 push @ERRORS, "Can't get file list on $_ $!\n" if $newerr;
 41 $ftp->quit if $newerr;
 42 next if $newerr;
 43 print "Got list $_\n";
 44 print Dumper(@files); #schau dir an welche files du im array hast
 45 $ftp->binary();
 46 foreach (@files) {
 47   #ToDo: nur log file und files mit timestamp <= 14 Tagen herunterladen 
 48   #command ist vermutlich Systemabhängig
 49   $ftp->get($_);
 50 }
 51 $ftp->quit;
 52 $res = system("gzip.exe -d radius.log-20110405.gz') ");
 53 open (IN,"<radius.log");
 54   @radius= <IN>;
 55 close IN;
 56 open (IN,"<radius.log-20110405");
 57   @radius_alt1= <IN>;
 58 close IN;
 59 open(OUT,">radius.log");
 60   print OUT "@radius";
 61   print OUT "@radius_alt1";
 62 close(OUT);

Zur Info. Benutze doch use strict, use warnings um dir dein Leben zu erleichtern.

Grüße

+3 replies

QWERTZ7

2011-04-07 10:32

User since
2011-03-22
33 Artikel
BenutzerIn
[default_avatar]

Vielen Dank schonmal, klappt bis jetzt gut, habe ne ordentliche Liste im array :)

Nur wie ich den Timestamp abfrage erschließt sich mir noch nicht ganz...

Es soll mit stat gehen, aber wie genau?

Und im Anschluss müssten die Dateien ja auch noch automatisch entpackt und zusammengefügt werden.

P.S.: Anstatt des eigentlichen Timestamps der Datei könnte man notfalls auch den Dateinamen zur Hilfe nehmen, in welchem ja auch das Datum ist.

//Edit: Die Dateien die geladen werden sollen liegen auf einem Server mit SUSE Linux 9.2, das Script wird auf einem Windows XP Rechner ausgeführt.
Last edited: 2011-04-07 10:41:42 +0200 (CEST)

+2 replies

suresh

2011-04-07 14:56

User since
2010-10-12
109 Artikel
BenutzerIn
[default_avatar]

Ich bin selbst noch recht neu in Perl!
Schau dir mal die Lösung unten an, allerdings ungetestet:

Code: (dl )

21 use strict;
 22 use warnings;
 23 use Data::Dumper;
 24 use Net::FTP;
 25 
 26 our $ftp;
 27 my $newerr;
 28 my @files;
 29 my @ERRORS;
 30 my $name;
 31 my $res;
 32 my @radius;
 33 my @radius_alt1;
 34 
 35 $ftp = Net::FTP->new("HOST", Debug => 0) or die "Cannot connect to some.host.name: $@";
 36 $ftp->login("USER",'PWD') or die "Cannot login ", $ftp->message;
 37 $ftp->cwd("/var/log/radius") or die "Cannot change working directory ", $ftp->message;
 38 $newerr=0;
 39 @files=$ftp->dir or $newerr=1;
 40 push @ERRORS, "Can't get file list on $_ $!\n" if $newerr;
 41 $ftp->quit if $newerr;
 42 next if $newerr;
 43 print "Got list $_\n";
 44 print Dumper(@files); #schau dir an welche files du im array hast
 45 $ftp->binary();
 46 
 47 &process_files(\@files);
 48 
 49 $ftp->quit;
 50 
 51 sub process_files {
 52 my @files = shift @_;
 53 my $letzteAenderung = 14; #letzte Änderung vor 14 Tagen
 54   foreach (@files) {
 55     if ( int( -M $_ ) <= $letzteAenderung ) {
 56       if ($ftp->get($_)) {
 57         $ftp->get($_);
 58       }
 59       if (`gzip.exe -d $_`) {
 60         my @unzip_files = `gzip.exe -d $_`;
 61         &process_files(\@unzip_files);
 62       } 
 63       else {
 64         if (-f "radius.log") {
 65           open (IN,">>radius.log");
 66             print IN "$_";
 67           close IN;
 68         } else {
 69           open (IN,">radius.log");
 70             print IN "$_";
 71           close IN;
 72         }
 73       }
 74     }
 75   }
 76 }

QWERTZ7

2011-04-08 09:08

User since
2011-03-22
33 Artikel
BenutzerIn

Danke, ich habe es jetzt einfach mit einem Batch-Skript gelöst, welches ich dann in meinem Perl-Skript aufrufe.

Gruß

View all threads created 2011-04-06 10:46.