Wenn's so spät beim Verbindungsaufbau klemmt, dann hängt das womöglich genau mit dem Net::FTP-Problem zusammen, über das Du gestolpert hast.
Steffen hat da darauf hingewiesen, dass manche FTP-Server genau einen sochen Cache brauchen, den er für Net::FTP gebaut hat.

Hast Du mal die von ihm vorgeschlagenen anderen Umgehungen ausprobiert?

Oder: Hast Du die Server-Konfiguration in der Hand? In http://www.proftpd.org/docs/howto/TLS.html wird die Situation (so vermute ich) beschrieben, und eine Konfigurations-Option angegeben, die das entschärfen sollte: