Thread Suche in einem großen file parallelisieren (3 answers)
Opened by amos at 2014-08-14 16:49

amos
 2014-08-16 18:04
#176873 #176873
User since
2014-08-07
9 Artikel
BenutzerIn
[default_avatar]
Vielen Dank für den Hinweis!
File::Map ist genauso schnell, ich habe jedoch bemerkt, dass in diesem Fall das gleichzeitige Suchen mit mehreren Prozessen keinen Sinn macht.
Die größte Beschleunigung bringt offensichtlich der linux file cache.
Die 1. Suche dauert noch 12s, beim 2. Suchen nur noch 6s, ab der dritten Suche im gleichen File dauert es nur noch jeweils < 1 Sekunde.
Jetzt frage ich mich nur noch, warum es linux schafft 1GB große Dateien in ca. 12 Sekunden in den Hauptspeicher zu laden, wogegen es 55s dauert wenn ich die Datei mit Perl in eine Arrayvariable lade?

View full thread Suche in einem großen file parallelisieren