# Bot-Verifizierung

Kategorie: [Logfiles](https://seo-geo-glossary.com/de/glossar/kategorie/logfiles/) › [Bots erkennen & steuern](https://seo-geo-glossary.com/de/glossar/kategorie/logfiles/bots-erkennen-steuern/)

**Bot-Verifizierung** bezeichnet im SEO- und Server-Kontext die Prüfung, ob ein Crawler tatsächlich von dem Betreiber stammt, für den er sich ausgibt. Gemeint ist das Verifizieren von Googlebot und anderen Crawlern am eigenen Server, nicht die Bot-Prüfung bei Discord oder Chat-Diensten.

## Warum prüfen?

Der User-Agent-Wert lässt sich beliebig setzen und taugt deshalb nicht als Nachweis. Wer Crawlern Sonderrechte gibt oder Logfiles auswertet, will echte Zugriffe von Fälschungen trennen (siehe Fake-Googlebot).

## Verfahren

**Reverse und Forward DNS.** Google beschreibt vier Schritte. Die IP aus dem Logfile wird per Reverse-DNS aufgelöst, der Hostname muss auf `googlebot.com`, `google.com` oder `googleusercontent.com` enden, ein Forward-Lookup des Hostnamens muss wieder die ursprüngliche IP liefern.

**IP-Listen.** Google veröffentlicht die Bereiche seiner Crawler als JSON-Dateien im CIDR-Format, seit 2026 unter `developers.google.com/static/crawling/ipranges/`. Die IP des Zugriffs wird mit diesen Listen abgeglichen (siehe IP-Ranges der Crawler). Das lässt sich automatisieren.

**Signaturen.** Cloudflare bestätigt Verified Bots über IP-Validierung mit veröffentlichten Listen und Reverse-DNS oder über eine kryptografische Signatur nach dem Verfahren Web Bot Auth, zu dem die IETF eine Arbeitsgruppe (webbotauth) eingerichtet hat. Voraussetzung ist laut Cloudflare, dass der Bot sich ehrlich identifiziert und sich nicht missbräuchlich verhält.

## Beispiel

Prüfung einer verdächtigen IP mit dem `host`-Befehl, den Google in der Doku nennt (IP als Platzhalter):

```bash
host 192.0.2.10
host crawl-example.googlebot.com
```

Nur wenn der erste Befehl einen Hostnamen mit passender Endung liefert und der zweite wieder auf 192.0.2.10 verweist, stammt der Zugriff von Google.

## Häufige Fehler

- **Nur den User-Agent prüfen.** Der Wert ist ein frei setzbarer HTTP-Header und beweist die Herkunft nicht.
- **Den Forward-Lookup weglassen.** Google beschreibt vier Schritte. Im letzten wird geprüft, ob der Forward-Lookup des Hostnamens wieder die IP aus dem Logfile ergibt.
- **Nur `googlebot.com` zulassen.** Google nennt drei Domains (`googlebot.com`, `google.com`, `googleusercontent.com`). Nutzerausgelöste Abrufe erscheinen zum Beispiel unter `gae.googleusercontent.com` oder `google-proxy-…google.com`.
- **Nutzerausgelöste Abrufe wie Googlebot behandeln.** Laut Google ignorieren diese Abrufer die robots.txt in der Regel, weil ein Nutzer den Abruf angefordert hat.
- **Skripte mit altem Pfad der IP-Dateien.** Die Dateien wurden von `/search/apis/ipranges/` nach `/crawling/ipranges/` verlegt, der alte Pfad leitet weiter.

*Grafik: Ist das wirklich Googlebot?.* Beide DNS-Abfragen müssen zusammenpassen. Für große Mengen empfiehlt Google den automatischen Abgleich mit den veröffentlichten IP-Listen. Beispielwerte aus Googles Dokumentation.

## Verwandte Begriffe

- [Reverse DNS (Bot-Verifizierung)](https://seo-geo-glossary.com/de/glossar/reverse-dns/index.md)
- [Bot-Traffic](https://seo-geo-glossary.com/de/glossar/bot-traffic/index.md)
- [Bot-Management](https://seo-geo-glossary.com/de/glossar/bot-management/index.md)
- [Web Bot Auth (signierte Bots)](https://seo-geo-glossary.com/de/glossar/web-bot-auth/index.md)
- [IP-Ranges der Crawler](https://seo-geo-glossary.com/de/glossar/ip-ranges-der-crawler/index.md)
- [Fake-Googlebot](https://seo-geo-glossary.com/de/glossar/fake-googlebot/index.md)

## Quellen

- [Googlebot und andere Google-Crawler verifizieren – Google Search Central](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests?hl=de)
- [Verified Bots – Cloudflare Docs](https://developers.cloudflare.com/bots/concepts/bot/verified-bots/)
- [New Location for the Google Crawlers' IP Range Files – Google Search Central Blog (31.03.2026)](https://developers.google.com/search/blog/2026/03/crawler-ip-ranges)
- [Google-Abrufer, die von Nutzern ausgelöst werden – Google Search Central](https://developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers)
- [Web Bot Auth Working Group – IETF Datatracker](https://datatracker.ietf.org/wg/webbotauth/about/)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/bot-verifizierung/