Hatte mir http://search.cpan.org/~gbarr/libnet-1.22/Net/SMTP... angeschaut.
Wohl mit Tomaten auf den Augen.

"LocalAddr and LocalPort - These parameters are passed directly to IO::Socket to allow binding the socket to a local port."

Das ist wohl die Lösung meines Problems.