English
Bots erkennen & steuern

Fake-Googlebot

Ein Fake-Googlebot ist ein Client, der sich im User-Agent als Googlebot ausgibt, aber nicht von Google stammt. Die Tarnung soll Zugangsregeln umgehen, die Suchmaschinen-Crawler durchlassen, oder Scraping und Angriffe weniger auffällig machen.

Warum der User-Agent nichts beweist

Der User-Agent ist ein frei setzbarer Textwert im HTTP-Header. Jeder Client kann dort „Googlebot“ eintragen. Für die Echtheitsprüfung nennt Google deshalb die IP-Adresse und den zugehörigen Reverse-DNS-Hostnamen.

Wie sich Fälschungen erkennen lassen

Google beschreibt zwei Wege. Beim manuellen Weg wird die IP aus dem Logfile per Reverse-DNS aufgelöst. Der Hostname muss auf googlebot.com, google.com oder googleusercontent.com enden. Danach folgt ein Forward-Lookup des Hostnamens, dessen Ergebnis die ursprüngliche IP sein muss. Beim automatischen Weg wird die IP mit den von Google veröffentlichten IP-Bereichen abgeglichen.

Auf Webserver-Ebene setzen Regelwerke wie das Fake-Bot-Plugin der OWASP Core Rule Set dieselbe Idee um. Das Plugin gleicht den User-Agent großer Suchmaschinen mit einem Reverse-DNS-Lookup ab und fließt in den Anomalie-Score ein, ohne allein zu blockieren.

Ist das wirklich Googlebot?Ablauf in fünf Schritten: IP-Adresse aus dem Logfile nehmen, Reverse-DNS-Abfrage, prüfen, ob der Hostname auf googlebot.com, google.com oder googleusercontent.com endet, Forward-DNS-Abfrage auf diesen Hostnamen, prüfen, ob dieselbe IP zurückkommt. Nur wenn beide Prüfungen passen, kommt die Anfrage von Google. Alternativ wird die IP mit Googles veröffentlichten JSON-Listen abgeglichen.1 · IP-Adresse aus dem Logfile66.249.66.12 · Reverse-DNS-Abfragecrawl-66-249-66-1.googlebot.com3 · Hostname endet aufgooglebot.com, google.com, googleusercontent.com?ja4 · Forward-DNS auf den Hostnamen66.249.66.15 · Gleiche IP wie im Logfile?jaAnfrage kommt von Googleneinnicht Googleneinnicht GoogleOder automatischIP mit Googles JSON-Listenabgleichen (CIDR-Format):common-crawlers.jsonspecial-crawlers.jsonuser-triggered-fetchers.jsonuser-triggered-fetchers-google.jsonuser-triggered-agents.jsonDen User-Agent von Googlebotgeben andere Crawler oft vor.Er allein beweist nichts.
Beide DNS-Abfragen müssen zusammenpassen. Für große Mengen empfiehlt Google den automatischen Abgleich mit den veröffentlichten IP-Listen. Beispielwerte aus Googles Dokumentation. Quellen: Google Crawling: Anfragen von Google-Crawlern und -Fetchern überprüfen; Google Search Central: Was ist der Googlebot?.

Beispiel

Zwei Zeilen aus einem Logfile (Beispieldaten) tragen denselben User-Agent, kommen aber von unterschiedlichen Adressen:

Text
192.0.2.31 - - [06/Oct/2026:08:01:10 +0000] "GET /admin/ HTTP/1.1" 403 199 "-" "Googlebot/2.1"
198.51.100.7 - - [06/Oct/2026:08:01:12 +0000] "GET /produkte/ HTTP/1.1" 200 20412 "-" "Googlebot/2.1"

Erst die Prüfung der IP-Adressen zeigt, welche der beiden zu Google gehört.

Häufige Fehler

  • Ausnahmen allein am User-Agent festmachen. Regeln, die „Googlebot“ von Rate-Limits, Login oder Bot-Schutz ausnehmen, gelten dann auch für jeden, der den Text in den Header schreibt (Schlussfolgerung aus dem frei setzbaren Header).
  • Den Forward-Lookup weglassen. Google verlangt, dass der Forward-Lookup des Hostnamens wieder die ursprüngliche IP ergibt, nicht nur ein passender Hostname im Reverse-Lookup.
  • Gefälschte Zugriffe in die Auswertung übernehmen. Zählt eine Logfile-Auswertung alle Zeilen mit Googlebot-User-Agent, fließen auch Fälschungen in die Crawl-Statistik ein (Praxiserfahrung).

Häufige Fragen

Kann ich Zugriffe mit Googlebot-User-Agent einfach blocken? Eine Sperre nur nach User-Agent trifft auch echte Zugriffe, wenn die Fälschung gleich aussieht. Besser ist eine Entscheidung auf Basis der Verifizierung.

Quellen

  1. Googlebot und andere Google-Crawler verifizieren – Google Search Centraldevelopers.google.com
  2. Introducing the Fake Bot Plugin – OWASP CRScoreruleset.org
  3. What is a Fake Googlebot? – Friendly Captcha (ergänzend)friendlycaptcha.com

Stand: