hi zusammen,

ich hab ein riesiges problem:

nächste woche soll eine von mir erstellte datenbank mit entsprechenden abfrage-scripten in betrieb gehen, das ganze läuft auf meinem entwicklungssystem auch ohne probleme, was ich nicht bedacht hatte:

die datenbank wird recht gross, ca. 17 GB, in meinen Abfrage-scripten lasse ich mir bei jeder query die komplette ergebnismenge zurückgeben um mit ihr verschiedene berechnung anzustellen, zu sortieren usw,
dummerweise ist die ergebnismenge einer query fast immer mehr als 1 GB groß, beim ausführen des scripts krieg ich die fehlermeldung:



weil der rechner auf dem das script läuft nur 1 GB RAM hat!

kann ich perl irgendwie anweisen die auslagerungsdatei zu benutzen und nur soviel RAM wie verfügbar ist?
in sprachen wie in R und matlab geht das, ist das in perl überhaupt möglich?

danke für jede hilfe, wenn perl das nicht kann sitz ich echt in der sch....

ich wüsste nicht wie das gehen sollte. ist es dir nicht möglich einige berechnungen in's sql auszulagern? das würde das ganze auch gleich ein wenig beschleunigen.
es gibt auch datenbanken bei denen man kleine perlscripte direkt auf der datenbank ausführen kann, PostgreSQL kann das z.B.

Quote

ist es dir nicht möglich einige berechnungen in's sql auszulagern?

nein, den gedanken hatt ich auch, aber egal wie rum ich es drehe, muss ich mir irgendwann die ganze ergebnismenge zurückliefern lassen..........

hab auch schon auf cpan geschaut, aber nichts dazu gefunden.....

oder muss ich linux irgendwie anweisen, dass wenn ein script den ram aufbraucht den ram zu benutzen? ist das eher eine betriebssystem frage?
oder gibt es doch ein cpan - modul und ich hab nur falsch gesucht?

hast du dir schon mal angeschaut, wieviel ram zum zeitpunkt der fehlermeldung von jedem prozess, der daran beteiligt ist, benoetigt wird? und hast du ein 32-bit-Betriebssystem?

bei 32-bit-Betriebssystemen gibt es ein Limit von 2GB RAM pro Prozess, und dank speicherfragmentierung koennen die auch schon frueher erreicht sein (im extremfall sogar schon bei 1,4GB). Ich vermute mal, dass du eher an dieses limit stoesst.

Fuer einen Loesungsvorschlag brauche ich naehere Angaben wie Betriebssystem, Perl-Version, ...

Den Speicher verwaltet das Betriebssystem, der Kernel. Und auch die Auslagerung in die Swap-Partition.\n\n

<!--EDIT|GwenDragon|1116508970-->

Ich kann auch Dateien verarbeiten, die viel größer sind. Die Frage ist, musst Du die kompletten Daten gleichzeitig im Speicher haben? Wenn ja wird es einen Punkt geben, ab dem das einfach nicht geht.

Was willst Du denn mit den Daten machen?

Kannst du nicht einen Cursor oder so verwenden? Bei MySQL wuerde ich HANDLER statt SELECT nehmen.

erstmal danke für die vielen antworten!

das problem hat sich erledigt, das ganze lag am admin:

der hatte mir zugesichert, das ich unbegrenzt swap-speicher zur verfügung habe, was ich ihm auch erstmal, naiv wie ich bin, geglaubt hab.

da ich also davon ausging, dass es NICHT daran liegen kann, dass ich auf dem system einfach zu wenig swap-speicher zur verfügung, dachte ich das es vielleicht ein perl-problem ist, also das perl aus irgendwelchen gründen die ich nicht kenne (bin garantiert nicht das, was man einen perl-experten nennt...), nur den ram nützt und nicht swap.

wäre ich etwas mißtrauischer gewesen, hätte ich vor dem posten meiner frage ein



ausgeführt und gesehen das der admin verpeilt / vergessen hat die swap-partition zu vergrössern und ich nur 512 MB zur verfügung hatte.........:-)

nun ja, swap-partition vergrößert und jetzt läufts....

ulimit zeigt doch nicht die Groesse des Swapspeichers an. Aber dafuer sieht man dort die maximal erlaubte Groesse des virtuellen Speichers (der pro User und Prozess eingestellt werden kann).

Schön, dass es jetzt geht. Aber es hätte auch mein Weltbild zum schwanken gebracht, wenn man sich in Perl um so etwas kümmern könnte oder müsste.