Bot-Verifizierung bezeichnet im SEO- und Server-Kontext die Prüfung, ob ein Crawler tatsächlich von dem Betreiber stammt, für den er sich ausgibt. Gemeint ist das Verifizieren von Googlebot und anderen Crawlern am eigenen Server, nicht die Bot-Prüfung bei Discord oder Chat-Diensten.
Warum prüfen?
Der User-Agent-Wert lässt sich beliebig setzen und taugt deshalb nicht als Nachweis. Wer Crawlern Sonderrechte gibt oder Logfiles auswertet, will echte Zugriffe von Fälschungen trennen (siehe Fake-Googlebot).
Verfahren
Reverse und Forward DNS. Google beschreibt vier Schritte. Die IP aus dem Logfile wird per Reverse-DNS aufgelöst, der Hostname muss auf googlebot.com, google.com oder googleusercontent.com enden, ein Forward-Lookup des Hostnamens muss wieder die ursprüngliche IP liefern.
IP-Listen. Google veröffentlicht die Bereiche seiner Crawler als JSON-Dateien im CIDR-Format, seit 2026 unter developers.google.com/static/crawling/ipranges/. Die IP des Zugriffs wird mit diesen Listen abgeglichen (siehe IP-Ranges der Crawler). Das lässt sich automatisieren.
Signaturen. Cloudflare bestätigt Verified Bots über IP-Validierung mit veröffentlichten Listen und Reverse-DNS oder über eine kryptografische Signatur nach dem Verfahren Web Bot Auth, zu dem die IETF eine Arbeitsgruppe (webbotauth) eingerichtet hat. Voraussetzung ist laut Cloudflare, dass der Bot sich ehrlich identifiziert und sich nicht missbräuchlich verhält.
Beispiel
Prüfung einer verdächtigen IP mit dem host-Befehl, den Google in der Doku nennt (IP als Platzhalter):
host 192.0.2.10
host crawl-example.googlebot.com
Nur wenn der erste Befehl einen Hostnamen mit passender Endung liefert und der zweite wieder auf 192.0.2.10 verweist, stammt der Zugriff von Google.
Häufige Fehler
- Nur den User-Agent prüfen. Der Wert ist ein frei setzbarer HTTP-Header und beweist die Herkunft nicht.
- Den Forward-Lookup weglassen. Google beschreibt vier Schritte. Im letzten wird geprüft, ob der Forward-Lookup des Hostnamens wieder die IP aus dem Logfile ergibt.
- Nur
googlebot.comzulassen. Google nennt drei Domains (googlebot.com,google.com,googleusercontent.com). Nutzerausgelöste Abrufe erscheinen zum Beispiel untergae.googleusercontent.comodergoogle-proxy-…google.com. - Nutzerausgelöste Abrufe wie Googlebot behandeln. Laut Google ignorieren diese Abrufer die robots.txt in der Regel, weil ein Nutzer den Abruf angefordert hat.
- Skripte mit altem Pfad der IP-Dateien. Die Dateien wurden von
/search/apis/ipranges/nach/crawling/ipranges/verlegt, der alte Pfad leitet weiter.
Quellen
- Googlebot und andere Google-Crawler verifizieren – Google Search Centraldevelopers.google.com
- Verified Bots – Cloudflare Docsdevelopers.cloudflare.com
- New Location for the Google Crawlers' IP Range Files – Google Search Central Blog (31.03.2026)developers.google.com
- Google-Abrufer, die von Nutzern ausgelöst werden – Google Search Centraldevelopers.google.com
- Web Bot Auth Working Group – IETF Datatrackerdatatracker.ietf.org
Stand: