alles klar, Du hast den falschen Mailserver verwendet.

der SMTPxx.mailyahoo.de ist für das Einliefern von Mails aus dem Client zuständig. Mit Net::SMTP 'spielst' Du aber selber Mailserver.
Da brauchst Du einen von diesen:

nslookup MX yahoo.de
Nicht autorisierte Antwort:
yahoo.de MX preference = 1, mail exchanger = mx2.mail.yahoo.com
yahoo.de MX preference = 5, mail exchanger = mx4.mail.yahoo.com
yahoo.de MX preference = 1, mail exchanger = mx1.mail.yahoo.com

Ich habe es mit mx4.mail.yahoo.com getestet. Die MAil war in 30 Sekunden da.
mx4 deshalb weil der die niedrigste Priorität hat. Da ist die Wahrscheinlichkeit geringer, das er irgendwie blockiert ist(Yahoo macht sowas um die Spammer zu blockieren).