Da ist zumindest mal beim Holen des Verzeichnisinhalts ein inneres überflüssiges "my": es soll ja das @dir außerhalb des Blocks verwendet werden.

Dann finde ich es stilistisch nicht gut, $dir und @dir zu verwenden. Kann leicht zu Konfusion führen. Ich würde @dir dann @dirs nennen - oder besser noch @files.

Zum Ursprungsproblem kann ich allerdings auch nur sagen: nichts genaues weiß man nicht...

Wenn man die gesamte Datei einlesen möchte, könnte man außerdem use File::Slurp nehmen und die Datei mit read_file einlesen. Aber einen Faktor 30 erklärt das nicht. Außerdem wäre auch die absolute Zeit zum Einlesen interessant. Ich würde das Problem aber anderswo vermuten.