Interpretation von robots-metatags (gelöst) (Sonstige Beiträge (auch Spaß und Sinnloses))

[thread]15166[/thread]

Interpretation von robots-metatags [gelöst]

Leser: 14

Articles: hide open all | hide show old branches

+5 replies
kristian

2010-06-21 08:17

User since
2005-04-14
684 Artikel
BenutzerIn

Wie sollte ein Bot robots-Metatags interpretieren?
Bei einem "noindex" würde ich sagen ist "noarchive" automatisch mit eingeschlossen, das ist logisch.
Ich würde bei "noindex" aber auch ein "nofollow" annehmen, mit der Begründung dass "noindex" das Äquivalent zu Disallow in der robots.txt ist.
Der Vergleich hinkt, bei Disallow darf der Bot die Seite schon gar nicht lesen und kann somit keine Links verfolgen, für die Metas muß er die Seite erstmal lesen und dann liegt die Entscheidung beim Programmierer.
Ich hatte mich für "noindex" => "noarchive" unless("archive") && "nofollow" unless("follow") entschieden.
Wie seht Ihr das?
- +4 replies
- GwenDragon
  
  2010-06-21 09:17
  
  User since
  2005-01-17
  14787 Artikel
  Admin1
  
  Mit der robots.txt kann du ja nur sagen: Du darfst die Seite besuchen oder Du darfst nicht die Seite besuchen.
  
  Die HTML-Meta-Elemente mit dem Namen robots dienen dazu, dem Bot zu sagen, ob er den Inhalt indizieren, archivieren, Links verfolgen darf oder nicht. Dazu dienen die Attribute content mit den folghenden Werten [no]archive,[no]index und [no]follow.
  http://www.robotstxt.org/meta.html
  
  So gesehen könnte mit noarchive ein noindex einhergehen. Muss aber nicht. Es kann sinnvoll sein, Suchbegriffe in der Webseite zu crawlen, aber sie nicht in den Cache oder Internetarchiv zu nehemen.
  Für mich resultiert aus noarchive und noindex noch kein nofollow.
  
  Kommt auf die Umstände an, was du der Sucvhmaschine erlauben willst.
  
  Übrigens: Du wirst mit der Methode robots.txt udn Meta-Element robots nur die Bots zügeln können, die das auch wirklich beachten. Bots sollten sich daran halten, müssen aber nicht, manche tun es einfach nicht.
  Die kannst du nur über die Abfrage des Useragents und URL-Rewrite-Regeln (mod_rewrite) stoppen.
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +3 replies
  - kristian
    
    2010-06-21 09:43
    
    User since
    2005-04-14
    684 Artikel
    BenutzerIn
    
    Ich sehe es gerade von der anderen Seite, sprich ich schreibe / betreibe den Bot.
    Wenn alle (möglichen) Anweisungen in den Metas stehen habe ich auch kein Problem.
    Schwierig wird es wenn ich raten muß und dann die Entscheidung fällen, soll ich oder soll ich nicht.
    Ein "noindex" erzwingt kein "nofollow" das ist klar, die Frage ist, wie würde es der Webmaster sehen?
    Ich als Webmaster würde z.B. "noindex, noarchive, follow" schreiben oder aber "noindex, noarchive, nofollow", wenn die verlinkten Seiten auch alle "noindex" sind. Bei "noindex" würde ich mir "noarchive" obendrein schon fast sparen wollen, da es kaum einen Link auf das Archiv geben kann, wenn die Seite nicht indexiert ist, bzw. "archive" bei "noindex" IMHO unlogisch ist.
    Die Frage bleibt also, was erwartet Ihr als Webmaster bei *nur* "noindex"? Ist "follow" erlaubt / erwünscht oder eher nicht?
    
    EDIT: Die "sinnvollen" Versionen stehen ja auf der von dir verlinkten Seite unten, diese sind ggf. durch [no]archive zu ergänzen aber es gibt auch Seiten da fehlt das [no]follow und das ist meine derzeitige Schwierigkeit.
    EDIT 2: Google *scheint* in dem Falle davon auszugehen, dass follow erwünscht ist.
    EDIT 3: Ich machs einfach wie die Tante und setze den Thread auf gelöst.
    Last edited: 2010-06-21 10:21:35 +0200 (CEST)
    - +2 replies
    - GwenDragon
      
      2010-06-21 10:24
      
      User since
      2005-01-17
      14787 Artikel
      Admin1
      
      Wenn kein no... in den Meta steht, ist das erlaubt. Das ist als Standard so.
      Webmaster und Webdesigner müssen, wenn sie was verbieten wollen, explizit mit no... eintragen.
      Last edited: 2010-06-21 10:25:46 +0200 (CEST)
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - kristian
        
        2010-06-21 10:32
        
        User since
        2005-04-14
        684 Artikel
        BenutzerIn
        
        Diese Sichtweise ist durchaus vertretbar aber als Botbetreiber schreibt man den Bot gerne so "smart" wie möglich und landet dadurch seltener in der .htaccess. Mag sein dass ich da etwas überempfindlich bin.
        Naja, gebranntes Kind und so...
        ...egal wie in "EDIT 3" gesagt mache ich ich es jetzt so wie von dir und g. interpretiert.

View all threads created 2010-06-21 08:17.