Hallo zusammen!

Seit einigen Monaten habe ich für einen größeren Kunden ein Tool (in Perl geschrieben) laufen, welches die ananymisierten Logdaten der Webserver analysiert. Hier werden Nutzerzahlen nach verschiedenen Eckpunkten analysiert und dabei komplette Klickpfade rekonstruiert. Dies funktioniert auch wunderbar, jedoch sollen nun größere Datenmengen analysiert werden.

Bislang habe ich dies so gehalten, dass ich die Daten zur Sortierung in mehrfach geschachtelten Hashes und Arrays im Speicher gehalten habe. Nun meine Frage: wenn ich Perl auf einem 64 Bit Linux laufen lasse, wieviel Speicher kann und darf ein Perl-Prozess dann maximal allozieren? Das tägliche Logfile ist momentan etwa 1GB groß und basierend auf meinen Berechnungen dürfte das Bearbeiten im Peak etwa 5GB Ram in Anspruch nehmen. Ist dies möglich oder sollte ich, wie ich es momentan überlege, eher eine Datenbank zur "Zwischenlagerung" der Daten in Anspruch nehmen und das Ganze dann sequentiell machen?