Dateien downloaden (Allgemeines zu Perl)

[thread]6697[/thread]

Dateien downloaden

Glen

2005-02-11 18:54

User since
2004-07-04
8 Artikel
BenutzerIn
[default_avatar]

Hi,
mit diesem Code hole ich mir eine Textdatei von einer HTML-Seite.

Code: (dl )

use CGI qw(:all);        # CGI forms etc
use LWP::Simple;

$url_liste = ('http://www.nummer.de/cgi-bin/nummer-daten?Aktion=Liste&Dokumenttyp=Beitraege');
$localfile_liste = "/daten/liste.txt";

$dokument_liste = get($url_liste);
unless (defined $dokument_liste) { print "ERROR\n"; exit };

getstore($url_liste, $localfile_liste);

In dieser TXT-Datei stehen Nummern. Diese Nummern brauche ich um sie als Variable in einem Link einzusetzen und damit gezippte Dateien runterzuladen.

Mit diesem Link sollen die gezippten Datei geladen werden:

Code: (dl )

$url_einzel = ('http://www.nummer.de/cgi-bin/nummer-daten?Aktion=Einzel&Dokumenttyp=Beitraege&Dokumentkennung="hier muss die jeweilige Nummer aus der Text-Datei stehen"');

Wie schaffe ich es, dass mir jede Nummer aus TXT-Datei in den Link übernommen wird? Ich also alle gezippte Dateien in einem Verzeichnis speichern kann?
Am besten wäre es, wenn ich die gezippten Dateien gleich entpacken und den Inhalt in einer TXT-Datei speichern könnte.

Kann mir ja jemand weiterhelfen?

Gruß
Glen

format_c

2005-02-11 20:22

User since
2003-08-04
1706 Artikel
HausmeisterIn

Wie sehen denn die Zahlen in der Datei aus? Wie sind sie getrennt?
Welche art von Zip-Dateien sind das?

Gruß Alex

Effizente Linuxshell

Ronnie

2005-02-11 20:35

User since
2003-08-14
2022 Artikel
BenutzerIn
[default_avatar]

Unvollständig, aber ein grober Entwurf:

Code: (dl )

#!/usr/bin/perl

use strict;
use warnings;

#use LWP::Simple;

while(<DATA>) {
  my $url = 'http://www.nummer.de/cgi-bin/nummer-daten?Aktion=Einzel&Dokumenttyp=Beitraege&Dokumentkennung=';
  $url .= $_;
  my $file = "file_".$_;
  #getstore($url, $file);
  print $url, "\n";
}

_ _DATA_ _
122
123
141
156

format_c

2005-02-11 20:46

User since
2003-08-04
1706 Artikel
HausmeisterIn

Ich nehme immer lieber LWP::UserAgent:

Code: (dl )

use strict;
use LWP::Simple;
use LWP::UserAgent;
use HTTP::Request::Common;
use Archive::Zip;
use FindBin;
my $url = 'http://www.nummer.de/cgi-bin/nummer-daten?Aktion=Liste&Dokumenttyp=Beitraege';
my $zips = 'http://www.nummer.de/cgi-bin/nummer-daten';
my $verzeichnis = $FindBin::Bin . '/unpacked/';


mkdir $verzeichnis unless -d $verzeichnis;

my $zahlen = LWP::Simple::get($url);

foreach my $zahl (split /\r?\n/,$zahlen) {
    my $ua = LWP::UserAgent->new(agent => 'myua',timeout => 120);
    my $request = $ua->request(GET $zips,[
                                          'Aktion' => 'Einzel',
                                          'Dokumenttyp' => 'Beitraege',
                                          'Dokumentkennung' => $zahl
                      
                      ]);
    if ($request->is_success()) {
        my $filename = $verzeichnis . $zahl . '.zip';
        open ZIP,'>',$filename or die $!;
        binmode ZIP;
        print ZIP $request->content();
        close ZIP;
        
        my $zip = Archive::Zip->new($filename) or die $!;
        -d $verzeichnis . $zahl ? next : mkdir $verzeichnis . $zahl;
        $zip->extractTree($verzeichnis . $zahl);
        
        unlink $filename;
    }#if
}#for