Wie umfangreich sind denn die enthaltenen Daten?

Ich hatte mal ein ähnliches Problem und da hab ich mir beholfen, in dem ich jeden enthaltenen Hash mittels Data::Dumper serialisiert habe und eine MD5-Summe davon erstellte; bei gleicher Summe wurde eine Hash-Referenz entfernt.

Man könnte auch einen Hash füllen und die MD5-Summe als Schlüssel einsetzen; als Wert wäre dann die Hash-Referenz zu nutzen.