Um das noch einmal etwas genauer auszuführen:

Mit den known_hosts verhält es sich so, dass der Client den Public-Key jedes Servers zusammen mit seiner IP in der Datei known_hosts abspeichert. Versucht sich jetzt der Client auf einem Server anzumelden, den er noch nicht kennt, oder der Server kommt mit einem Serverkey, der von dem in der known_hosts eingetragenen abweicht, gibt es eine Warnung.
Dabei hat jeder User auf einem Clientrechner i.d.R. seine eigene known_hosts Datei. Der Key wird dort zusammen mit der IP abgespeichert und gilt für den ganzen Server, egal mit welchem Benutzernamen man sich dort einloggt.