[quote=GwenDragon,18.03.2007, 18:09]Die Robots.txt nutzt nix. Es gibt ja auch Spider und Harvester, die scheren sich nicht darum - logisch.[/quote]
Und warum sollten diese Spider nicht auch Seiten indexieren, die sich als text/xml ausweisen? Zumindest die "Großen" (Google, Yahoo, MSN) werden robots.txt beachten.