Die Daten die am Ende rauskommen sollen sind quantitativ sehr gering. Insofern braucht man sich m.E. schonmal keine Sorgen um zu wenig Arbeitsspeicher machen.
Daher würde ich die Datei blockweise einlesen und die Summen in einem Hash bilden.
Blockweise einlesen, weil sonst der RAM mit der Datei voll geklatscht wird, was ja nicht nötig ist, weil man ja am Ende nur die Summen braucht.