jan+2008-07-18 22:10:27--

bei der optimierung ist, denke ich, erstmal die frage, ob du denn alle wirklich gleichzeitig brauchst und sie nicht sequentiell abarbeiten kannst. wie sieht das aus, was willst du auswerten?

Ich brauche nicht alle gleichzeitig, aber ich muss mehrere tausend mal pro Minute auf die Values dieser name1- und name2-Keys zugreifen, fast jedesmal auf verschiedene. Deswegen sollten die Daten als Hash bereitstehen. Ich könnte zwar pro Zugriff die Input-Dateien neu nach diesem Eintrag parsen, doch dieses Parsen würde jedesmal 10 Sekunden in Anspruch nehmen, was die Anwendung unbenutzbar macht. Hatte ich schonmal implementiert.

Eine Swapdatei ist definitiv keine Lösung, auch nicht das tie'en des Hashs auf eine Datei.

Die Daten selbst können eigentlich gar nicht so viel Speicher verbrauchen. Wenn ich alle Strings in den inneren Hashes, auf die es ja ankommt, in ein Array stecke, braucht man keine 200 MB sondern lediglich 20. Nur brauche ich einen schnelleren Lookup, als es mit einer for-Schleife durch den Hash möglich wäre. Deswegen meine Vermutung, dass irgendwo im Perl-Hash der Flaschenhals ist, vielleicht weil er eine bestimmte Menge an SPeicher allokiert, die er aber nicht braucht?