Dass er dich nach dem PW fragt, wenn der Key nicht gefunden wird, das ist die Standardeinstellung des SSH-Daemons. Sowas kann man allerdings ändern (siehe man sshd_config).