Hallo mal wieder,

ich habe folgende Frage: Ich möchte meinen Server per LWP::UserAgent einige CSV-Dateien von einem anderen Server laden lassen und diese dann in eine SQL-Datenbank übernehmen.

Ich habe erste Tests gemacht und meinen Server mit einer etwa 180 MB-CSV-Datei 2 mal gekillt (Memory-Auslastung stieg langsam bis 70% und mehr und dann war er weg). Ein anderer Server (Leistungsfähiger) hat dies geschafft aber knapp eine Stunde gebraucht, wobei laut Putty die Memory-Auslastung auf knapp 50% war (der bessere Server hat 2 CPUs um 3 GHz, 2 GB RAM).

Nun war das aber nur einer der Tests. Dies war durchaus nicht die größte Datei. Die Testdatei hat 160.000 Einträge. Es gibt aber auch Dateien, die etwa 1,5 Mio Einträge haben.

Da mein besserer Server mit wichtigen Dingen beschäftigt ist, darf ich den durch Tests nicht zerschießen. Daher mal die Frage: Ist das so überhaupt möglich? Kann (m)ein Server eine 400, 600 oder 800 MB-Datei per LWP laden und diese dann in Ihre Bestandteile zerlegen und in die DB eintragen?
Habt Ihr Erfahrungswerte zur Übertragungszeit solch großer Dateien und zur Dauer des Eintragens in die DB?

Wovon hängt die "Überlebensdauer" meines Servers in diesem Falle ab? RAM, ..., oder?

Gibt es bessere Möglichkeiten, als LWP für diesen Zweck?

Dank schonmal und für heute Abend einen guten Rutsch!!