Hallo zusammen!

Seit einigen Monaten habe ich für einen größeren Kunden ein Tool (in Perl geschrieben) laufen, welches die ananymisierten Logdaten der Webserver analysiert. Hier werden Nutzerzahlen nach verschiedenen Eckpunkten analysiert und dabei komplette Klickpfade rekonstruiert. Dies funktioniert auch wunderbar, jedoch sollen nun größere Datenmengen analysiert werden.

Bislang habe ich dies so gehalten, dass ich die Daten zur Sortierung in mehrfach geschachtelten Hashes und Arrays im Speicher gehalten habe. Nun meine Frage: wenn ich Perl auf einem 64 Bit Linux laufen lasse, wieviel Speicher kann und darf ein Perl-Prozess dann maximal allozieren? Das tägliche Logfile ist momentan etwa 1GB groß und basierend auf meinen Berechnungen dürfte das Bearbeiten im Peak etwa 5GB Ram in Anspruch nehmen. Ist dies möglich oder sollte ich, wie ich es momentan überlege, eher eine Datenbank zur "Zwischenlagerung" der Daten in Anspruch nehmen und das Ganze dann sequentiell machen?

5GB sollte unter 64bit Linux kein Problem sein, sofern auch physisch so viel Speicher zur Verfügung steht. Sobald das OS swappen muss, wirds hässlich langsam.

perl selbst hat keine eingebaute Speichergrenze. Du solltest aber darauf achten, dass bei so großen Datenmengen perl selbst dann auch mit 64bit Unterstützung compiliert wurde.

Gehört zwar nicht so ganz zum Thema, aber kannst du (mir) mal kurz erklären, wie man so eine Speicherberechnung durchführt ... oder ist das eher ein probieren/messen?

Ist in der Tat eher probieren. Bei meinen bisherigen Datenmengen lag der Speicherbedarf etwa beim 4,3fachen der Input-Daten. Ist auch nur ungefähr.

Taulmarill+2008-04-25 14:37:41--

5GB sollte unter 64bit Linux kein Problem sein, sofern auch physisch so viel Speicher zur Verfügung steht. Sobald das OS swappen muss, wirds hässlich langsam.

perl selbst hat keine eingebaute Speichergrenze. Du solltest aber darauf achten, dass bei so großen Datenmengen perl selbst dann auch mit 64bit Unterstützung compiliert wurde.

Ich würds an für sich gerne mal austesten. Auch wenn das OS swappen muss, könnte ich mir vorstellen, wird das Ganze immernoch schneller sein, als wenn ich alles in ne DB schreibe und dann sequentiell wieder raushole. Aber schonmal danke für die Antwort.

Schau Dir doch einmal Tie::File an. Das Modul erlaubt es Dir sogar größere Datenmengen als in den Speicher passen würden, so zu bearbeiten, als wären sie im Hauptspeicher. Die Standardeinstellung ist allerdings, nur 20 MB zu verwenden, die solltest Du dann vielleicht etwas erhöhen.