Das Delay verhindert DoS.
Und z. B. failure_delay ist in Dovecot in der Konfiguration für den auth-Dämon drin.

Da kannst du am clientseitig nix ändern.