das problem ist, dass $elem keinen string "x1,y1,z1" enthält, sondern die speicheradresse der array-referenz, und die ist bei jedem element anders, wie betterworld schon schrieb.
lass dir doch einfach mal $elem ausgeben in der schleife.

im hash %seen willst du dir ja merken, welche arrays schon da waren, dafür musst du dir eine string-räpresentation überlegen, die das array eindeutig wiedergibt. das könnte z.b. sein:
my $key = join "\0", @$elem;
(wenn keine nullbytes in den einzelnen werten vorkommen).

dann nimmst du statt $elem als hashkey $key.