Habe mal ein paar mehr Infos zusammengetragen:
1. So sieht der Datenmüll aus: http://flux.pldsecurity.de/dm.jpg

2. zu Hause verursacht dieselbe Datei ~400MB weniger Speicherverbrauch, trotz gleicher Perl- und Modulversionen. Hier ist Spreadsheet::ParseExcel der Speicherfresser.
Eine 47.000x10-Zeilen-Datei braucht hier ca.500MB Speicher.. MS Excel braucht für dieselbe Datei nur 25-40MB.
Ein Ansatz wäre, Spreadsheet::ParseExcel zu sagen, es soll nur Rohdaten in den Speicher laden und keine Formate/Formeln/etc.
..Allerdings wäre eine Speicherung in einem C-Array oder etwas in der Art wünschenswerter, da weniger Speicher + performanter.

Bin für jegliche weiterführende Ideen dankbar..