Diese Sichtweise ist durchaus vertretbar aber als Botbetreiber schreibt man den Bot gerne so "smart" wie möglich und landet dadurch seltener in der .htaccess. Mag sein dass ich da etwas überempfindlich bin.
Naja, gebranntes Kind und so...
...egal wie in "EDIT 3" gesagt mache ich ich es jetzt so wie von dir und g. interpretiert.