Hi zusammen,

ich bräuchte einen Art "Downloadmanger" unter Linux mit folgenden Features:

- sollte eine Art Downloadliste abarbeiten können (aus Datei, DB usw.)
- HTTP und FTP
- möglichst meherere Downloads gleichzeitig können
- keine graphische GUI .. nur Kommandozeile, da ich gerne automatisieren möchte

Vielleicht hat einer von euch schon ein Tool in die Richtung ? Ich habe selbst schon etwas herumgesucht aber leider nichts in die Richtung finden können.
Bin auch über Codeschnipsel dankbar!

Meine ersten Schritte waren mit LWP. Bin nun auch über libcurl gestossen, die von sich behaupten besser als libwww zu sein. Was würdet ihr einsetzen ? Wo habt ihr schon Erfahrungen gemacht ?

wget?

libcurl kenne ich nicht, aber mit LWP habe ich bisher ganz gute Erfahrungen gemacht...

Mit wget habe ich leider das Problem, dass er nicht checkt, ob ein bestimmtes File zu gross ist, bevor er es lädt.
Der macht das laut man-page nur auf rekursive Listen oder ftp Verzeichnisse. Und das erst wenn er komplett alles
heruntergeladen hat.

WWW::Curl (woran ich mitgearbeitet hab) sollte alles koennen was du brauchst, insbesondere parallele downloads (kann sonst kein Perl Modul), allerdings ist die API noch sehr C lastig.

dürfte curl nicht schneller sein ?

[quote=sri,27.10.2005, 10:43]<a href="http://cpansearch.perl.org/dist/WWW-Curl/" target="_blank">WWW::Curl</a> (woran ich mitgearbeitet hab) sollte alles koennen was du brauchst, insbesondere parallele downloads (kann sonst kein Perl Modul), [/quote]
LWP::Parallel::UserAgent

[quote=ptk,27.10.2005, 23:45][quote=sri,27.10.2005, 10:43]<a href="http://cpansearch.perl.org/dist/WWW-Curl/" target="_blank">WWW::Curl</a> (woran ich mitgearbeitet hab) sollte alles koennen was du brauchst, insbesondere parallele downloads (kann sonst kein Perl Modul), [/quote]
LWP::Parallel::UserAgent[/quote]
Gaenzlich nutzlos, da voll mit bugs und unglaublich langsam...

Erzähl mal Genaueres, da ich es auch verwende und nicht in die Bugs reinstolpern möchte...

Ich habe jetzt kurz in WWW::Curl reingeguckt und bin skeptisch. Das Modul lässt sich nicht von CPAN.pm aus installieren (Test erwartet eine interaktive Eingabe, die man allerdings nicht sieht, also muss man "notest install WWW::Curl" verwenden). Wahrscheinlich gibt es deshalb nur sehr wenige Test-Reports bei den cpantesters. Die Dokumentation ist praktisch nicht vorhanden. Wenn ich das Beispiel in WWW::Curl::Easy verwende, dann wird die gesamte Ausgabe nach STDOUT geschrieben (?!), Header-Parsing etc. wird dem Benutzer überlassen.