Quote

Dies ist aber nur sinnig, wenn man die Biester vorher anhand der IP erkannt hat.

Und kannst du die nicht per .htaccess ausschließen?

Die Robots.txt nutzt nix. Es gibt ja auch Spider und Harvester, die scheren sich nicht darum - logisch.