na in @unique darfst du $key natürlich nicht pushen, sondern da willst du ja die arrayref drinhaben.
mir scheint, du hast den ansatz immer noch nicht verstanden.
du willst in der endgültigen liste wieder eine liste von arrayrefs. der $key zum aussortieren von duplikaten wird aber nur für %seen benutzt.

das hier:
my @unique = grep { my $key = join "\0", @$_; ! $seen{ $key }++ } @a;
funktioniert bei mir wunderbar.