2024-04-03T14:24:26 rostiDie Schreibweise hat sich nicht geändert!Der Sinn besteht darin, dem Bot beizubringen daß sich die Schreibweise geändert hat. Das kann man z.B. über eine RewriteRule machen die mit Status 301 auf den geänderten URL umleitet.
2024-04-03T14:24:26 rostiDie alte Schreibweise war und ist immer korrekt.Oder, vorausgesetzt, daß bei der alten Schreibweise ein Status 404 kommt, wird ein Bot die Seiten, sofern die mit der neuen Schreibweise verlinkt sind und status 200 liefern, ganz einfach neu indizieren.
QuoteGenerell können sowohl Groß- als auch Kleinbuchstaben in URLs verwendet werden. Es wird allerdings empfohlen, sich auf die „Klein“ Schreibweise festzulegen. Der Grund dafür ist, dass bestimmte Server Betriebssysteme eine Unterscheidung nach Groß- und Kleinschreibung treffen. Im ersten Schritt klingt das nicht weiter bedenklich, nur kommt es schon mit dem ersten externen Link in abweichender Schreibweise zu einem doppelten Inhalt im Index.
QuoteUm dieses Problem in den Griff zu bekommen ist kein großer Aufwand nötig. Die Serverkonfiguration muss angepasst werden, so dass eine fehlerhafte Schreibweise immer auf die eigentliche URL zurückgeführt wird. Alternativ können auch 301 Weiterleitungen oder Canonicals eingesetzt werden.
2024-04-04T15:22:10 GwenDragonHatte ich nicht schon erwähnt, dass der Bingbot/MSNBot das schon länger (seit ca. 2 Jahren oder so) so macht.
1
2
3
4
RewriteEngine On
RewriteMap lc int:tolower
RewriteCond %{REQUEST_URI} [A-Z]
RewriteRule (.*) ${lc:$1} [R=301,L]
2024-04-05T10:56:58 GwenDragonDas seltsame Verhalten des Bots ist aber nicht dokumentiert seitens Microsoft.
2024-04-03T15:19:49 GwenDragonEs nutzt doch nix den Robot komplett zu blockieren, er soll nur bei halluzinierten URL eine speziell Seite bekommen.
1
2
3
4
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{USER_AGENT} (bing|msn)bot [NC]
RewriteRule ^(.*)$ /the_index.html [R=301,L]