Hast du schonmal probiert die Werte, auf die referenziert wird zu leeren ($referenz{xy} = undef;)?
Weil, eine Referenz ist meines Wissens nur einZeiger, die Datenstehen wo anders. Wenn du jetzt den Zeiger löschst müssten die Daten bis zur Müllsammlung doch irgendwie erhalten bleiben...