Für mich scheint es sinnvoll eine Datenbank zu nutzen, da sie für so etwas ausgelegt ist.

Alternativ könnte man die Datensätze auch in Perlcode packen (siehe z.B. Data::Dumper) Dann geht das laden schneller. (z.B mit eval)

Eventuell wäre es auch möglich die Datendatei zu splitten und über alle Dateien ein Index zu erstellen, mit der man nur die gerade benötigten findet und ließt.

Wenn es sich um ein Multiprozessorsystem handelt lohnt es ich darüber nachzudenken ob sich das Aufsplitten des Programms oder wenigstens der Leseoperationen möglich wäre, um die Geschwindigkeit zu steigern.