Hi,

mir ist gerade in den Sinn gekommen folgendes:

Rein Suchmaschinenspider hat die Aufgabe Informationen zu sammeln. Er muss dafür ja mittlerweile schon gute Ansätze von Intelligenz zeigen und Millionen von unsinnigen Seiten filtern. Es ist zwar garantiert, dass der Spider so gut wie alles im Web findet, aber der Aufwand dahinter scheint mir unverhältnismäßig hoch.

Wieso, frage ich mich, überzeugt man den Webseitenbetreiber nicht davon, seine Informationen zu bündeln und öffentlich zur Verfügung zu stellen, UND DAS in einem einfachen Format, das schnell und zuverlässig auszuwerten ist?

Und hier ist der Ansatz, wie ich auf die robots.txt gekommen bin. Es ist doch kein Problem beispielsweise eine informations.txt anzulegen und dort Textdatensätze einzupflegen. So könnten zum Beispiel Angebote eines Internetshops blitzschnell in die Datenbank des Webspiders aufgenommen werden. Kleinere Shops würden nichteinmal benachteiligt. Es siegt einfach der, der das beste Angebot zu bieten hat. Selbst unauffällige Seiten könnten vermehrt Umsatz machen, da ihre Artikel von jedem ohne viel Aufwand gefunden werden können..

Gibts sowas in der Richtung schon?
Was haltet Ihr von der Idee?

mfg
steinwolf