Ich wuerde mal sagen, dein Problem ist, dass der Perl-Prozess z.B. schon beim $SSL_Server->accept() solange haengt, bis sich wirklich ein Client verbindet.
Ein aehnliches Problem hast du dann vermutlich nochmal beim Aufruf von read().
Du solltest dir mal in den Doku zu IO::Socket::SSL den Abschnitt zu Non-blocking I/O durchlesen, wie man das korrekt macht.