nepos+2008-10-17 08:38:20--

Aber wenn der Anbieter nicht will, dass automatisiert auf seine Seiten zugegriffen wird, dann sollte man das auch beachten!

Wo stehts das? Das liest du aus der robots.txt?
Dann dürfte ich noch nicht einmal ein Browser-Widget bauen, das mir ohne meine Eingaben eine Verbindung anzeigt.

Das ist wohl eher eine Interpretationsfrage, wozu die robots.txt gut sein könnte und was sich die DB gedacht hat.
Ich finde keine Nutzungsbedingungen für die Website, die ein Abholen von Daten verbietet.

pq+2008-10-16 13:38:51--

aber ich als webmaster würde mich nicht freuen über sowas: "Also habe ich eine Liste mit paar Hundert Links,
die ich automatisch z. B. jede Minute an bahn.de senden würde."

Ich freue mich auch als Webmistress nicht über unsinnige Anfragen bei diversen Kunden, wenn Clients sich nicht um die robots.txt scheren. Aber dann greife ich regulierend ein. Auch ein Webmaster der Bahn sollte das können. Als ob es keine Möglichkeiten gäbe, zu viele Requests von einer IP oder einem Client zu bremsen.
Die meisten Clients/Spider/Bots interessieren sich nicht die Bohne für die robots.txt, was da drin steht. Das ist eher eine unrealistische Vorstellung.