Wären es mehrere Dateien, die gelesen werden, hätte ich es von Anfang an partiell gemacht. Aber es ist eine große Datei, die nur schwer Partiell lesbar ist.
Würde ich versuchen hier was zu ändern müsste ich das gesamte Modul um/neu schreiben. Ich habe alle Daten zentral in einem HashOfHashes abgelegt, von dem die Objekte Refernzen bekommen.
Die Zugriffe sind vom Nutzer gesteuert und nicht gut vorhersagbar, so weiß ich nicht welche Teile gebraucht werden, und welche wegfallen können.

Die Datenstruktur ist nicht sehr komplex (keine Rekursionen, keine komplexen Daten wie Objekte) und es wird fast nur Lesend darauf zugegriffen.

Zur Zeit sind die Rechner ständig am ein/auslagern, wenn es mir gelingt viel mehr Daten im RAM zu halten, so steigt die Zugriffsgeschwindigkeit und der Verlust durch das packen fällt nicht ins Gewicht.

Wenn ich selber ein tie-Modul schreibe kann ich natürlich die Daten auf der Festplatte auslagern. Doch das macht dann nahezu das selbe wie der Cache-Mechanismus des Betriebssystems. Bei einem Plattenzugriff hat man so 60-180 MiB/s Durchsatz und das ist derzeit auch das Problem.

Edit: Doppelter Text entfernt
Last edited: 2010-06-17 22:16:53 +0200 (CEST)

Ich habe gerade keine genauen Werte zur Hand, aber ich würde sagen der Hash-Baum enthält ungefähr 2 Millionen Schlüssel (ursprünglich sollten es 1000-5000 pro Datei sein) jeder Hash hält ungefähr 30 Schlüssel (geschätzt) in 8 bis 10 Ebenen. Sie Schlüssellänge dürfte Durchschnittlich 8 Zeichen sein. Bei machen Zugriffen muss ich bis zu einem Drittel der Daten lesen, durch die Struktur geht das auch recht schnell, wenn alles in den Speicher passt. Das war auch ursprünglich der Grund auf einen Hash-Baum zu setzen. Hätte ich geahnt, welche Datenmengen jetzt damit verarbeitet werden, hätte ich eine andere Struktur gewählt.

Das Hauptproblem sind, denke ich, nicht Größe der Werte sondern die Anzahl in ihrer verschachtelten Struktur.

Ich werde mal Testweise ein kleines Modul schreiben, dass den Baum als flache Struktur im Speicher hält. Mal sehen, ob das etwas bringt.