Rewrite für Bingbot

Hallo Jörg,

heute kam z.B diese Anfrage vom Bingbot

40.77.167.0 - - [02/Jul/2023:14:59:50 +0200] "GET /2020/10/27/fire-up-your-motivation/ HTTP/1.1" 301 - "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/103.0.5060.134 Safari/537.36"

Mir ist die angeforderte URL völlig unbekannt, kann aber nicht ausschließen das die URL von einem Vorgänger in Wordpress einmal verwendet wurde.

Ähnliche Anfragen kommen immer wieder von Bing.

Kann da dieses Abhilfe schaffen?

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT}  (bingbot) [AND]
RewriteCond %{REQUEST_URI} ^/2020/(.*)$
RewriteRule ^ - [G,L]
</IfModule>

Auch gibt es noch alte URLs die via 301 umgeleitet werden. Aber diese sollen wenn der Binbot diese URLs aufruft mit einem 404er beantwortet werden.

In diesem Fall muss die spezielle Regel für den Bingbot ja wohl vor die Regel welche die alte URLs umschreibt.

z.B wird derzeit so umgeleitet

RewriteRule ^bilder/Apartment-A/ https://example.org/bilder/ [R=301,L]

Dann müsste ich wohl diese Regel davor ausführen lassen?

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} (bingbot) [AND]
RewriteCond %{REQUEST_URI} ^bilder/Apartment-A/(.*)$ [OR]
RewriteCond %{REQUEST_URI} ^bilder/Apartment-B/(.*)$ [OR]

... etc und ohne [OR] beim letzten Eintrag

RewriteRule ^ - [G,L]
</IfModule>

Mit freundlichen Grüßen - Jan

Hallo Jörg,

Allerdings wäre ich schon vorsichtig damit, ...

Hm ... Danke für den Hinweis.

Eigentlich sollte doch ein 301er im Laufe der Zeit nicht mehr von der SuMa aufgesucht werden, oder?

Ich stelle aber fest das immer wieder die alten Seite z.B von Bing aufgerufen werden. Dabei ist doch auch eine SiteMap vorhanden und auch Bing bekannt.

Die Umleitungen sind schon ein paar Monate vorhanden, sollte man diese dann nicht besser jetzt als 410er angeben? Und dann hoffen das dies mal Abhilfe schafft?

Mit freundlichen Grüßen - Jan

Hallo Jörg,

dann habe ich die SuMas mal wieder überschätzt. Da hänge ich schon das Schild "Verzogen nach ..." bzw. "Verstorben" an die Tür ... und trotzdem wird mir nicht getraut ... ich könnte mich ja irren ;-)

Aber wie du ja auch bemerkt hast waren die alten URLs wirklich gut verlinkt und die Seite insgesamt gut in den Suchergebnissen platziert ...

Ich belasse es einfach wie es ist und mache mir darüber keine Gedanken mehr :-)

Danke für deine immer wieder hilfreichen und informative Hinweise.

Mit freundlichen Grüßen - Jan

Der Bingbot holt sich auch Ressourcen, die in eine Webseite eingebunden sind und führt dabei auch JavaScript aus. Gut verlinkt ist also möglicherweise eine Webseite, die in der Vergangenheit über diesen API-Endpunkt Inhalte bezogen hat.