Du hast leider nur eine 10%-ige Chance auf Erfolg, siehe hier: http://cpandeps.cantrell.org.uk/?module=Net%3A%3ASFTP

Bei mir klappt es auch nicht, anscheinend ist Math::GMP schuld. Bei
http://rt.cpan.org/Public/Dist/Display.html?Name=Math-GMP sehe ich auf dem ersten Blick viele Reports, die "64bit" im Subject haben (ich habe auch eine 64-Bit-Maschine). Und leider tut sich seit Jahren nichts. Du könntest nun nochmal an die Autoren schreiben und nachfragen (auch an den Net::SFTP-Autor), oder einfach trotz Testfehler installieren ("notest install Math::GMP" oder "force install Math::GMP") oder versuchen, das Problem mit einem Patch zu beheben.