English
Bots erkennen & steuern

IP-Ranges der Crawler

IP-Ranges der Crawler sind die IP-Adressbereiche, von denen aus ein Suchmaschinenbetreiber seine Crawler betreibt. Google veröffentlicht sie im CIDR-Format als JSON-Dateien. Wer prüfen will, ob eine Anfrage wirklich von Googlebot stammt, gleicht die IP-Adresse aus dem Logfile mit diesen Listen ab.

Welche Listen gibt es?

Google trennt die Bereiche nach Crawler-Typ und nennt in der Dokumentation fünf Dateien:

  • common-crawlers.json für die gewöhnlichen Crawler wie Googlebot
  • special-crawlers.json für Crawler mit besonderem Zweck wie AdsBot
  • user-triggered-fetchers.json und user-triggered-fetchers-google.json für Abrufe, die ein Nutzer auslöst
  • user-triggered-agents.json für nutzerausgelöste Agenten

Die Dateien liegen unter developers.google.com/static/crawling/ipranges/. Für andere Google-Dienste gibt es die allgemeine Liste goog.json.

Ist das wirklich Googlebot?Ablauf in fünf Schritten: IP-Adresse aus dem Logfile nehmen, Reverse-DNS-Abfrage, prüfen, ob der Hostname auf googlebot.com, google.com oder googleusercontent.com endet, Forward-DNS-Abfrage auf diesen Hostnamen, prüfen, ob dieselbe IP zurückkommt. Nur wenn beide Prüfungen passen, kommt die Anfrage von Google. Alternativ wird die IP mit Googles veröffentlichten JSON-Listen abgeglichen.1 · IP-Adresse aus dem Logfile66.249.66.12 · Reverse-DNS-Abfragecrawl-66-249-66-1.googlebot.com3 · Hostname endet aufgooglebot.com, google.com, googleusercontent.com?ja4 · Forward-DNS auf den Hostnamen66.249.66.15 · Gleiche IP wie im Logfile?jaAnfrage kommt von Googleneinnicht Googleneinnicht GoogleOder automatischIP mit Googles JSON-Listenabgleichen (CIDR-Format):common-crawlers.jsonspecial-crawlers.jsonuser-triggered-fetchers.jsonuser-triggered-fetchers-google.jsonuser-triggered-agents.jsonDen User-Agent von Googlebotgeben andere Crawler oft vor.Er allein beweist nichts.
Beide DNS-Abfragen müssen zusammenpassen. Für große Mengen empfiehlt Google den automatischen Abgleich mit den veröffentlichten IP-Listen. Beispielwerte aus Googles Dokumentation. Quellen: Google Crawling: Anfragen von Google-Crawlern und -Fetchern überprüfen; Google Search Central: Was ist der Googlebot?.

Umzug 2026

Am 31. März 2026 kündigte Google an, die Dateien von /search/apis/ipranges/ nach /crawling/ipranges/ zu verlegen, weil die Bereiche nicht nur für Crawler der Google Suche gelten. Die alten Pfade sollten vorerst erreichbar bleiben und innerhalb von sechs Monaten auf die neuen weiterleiten. Am 6. Oktober 2026 antwortete die alte Datei googlebot.json mit einer 301-Weiterleitung auf common-crawlers.json. Skripte, die die Listen abrufen, sollten die neuen Pfade nutzen und Weiterleitungen folgen.

Aufbau

Die Dateien enthalten ein Erstellungsdatum (creationTime) und eine Liste von Präfixen für IPv4 und IPv6. Da sich Bereiche ändern, taugt eine einmal heruntergeladene Liste nur begrenzt. Das Erstellungsdatum zeigt, wie aktuell der eigene Stand ist. Die IP-Adressen aus dem Logfile können personenbezogene Daten sein (EuGH, Urteil vom 19.10.2016, C-582/14, Breyer). Keine Rechtsberatung.

Beispiel

Ausschnitt aus der Datei vom 6. Oktober 2026:

JSON
{
  "creationTime": "2026-10-06T14:47:46.000000",
  "prefixes": [
    {"ipv6Prefix": "2001:4860:4801:10::/64"},
    {"ipv4Prefix": "192.178.4.0/27"}
  ]
}

Liegt die IP-Adresse eines Zugriffs in einem dieser Präfixe, stammt er aus Googles Infrastruktur.

Alternative zur Liste

Als manuelle Methode nennt Google den Reverse-DNS-Lookup. Der Hostname der IP muss auf googlebot.com, google.com oder googleusercontent.com enden, und ein anschließender Forward-Lookup muss wieder die ursprüngliche IP ergeben. Beide Wege haben denselben Zweck. Der User-Agent allein reicht für die Zuordnung nicht, weil er sich beliebig setzen lässt (siehe Fake-Googlebot). Für andere Betreiber gelten eigene Listen und Verfahren, die sich nicht auf Google übertragen lassen.

Häufige Fehler

  • Die Liste einmal laden und nie erneuern. Die Dokumentation nennt keine Aktualisierungsfrequenz. Das Feld creationTime zeigt den Stand der eigenen Kopie.
  • Nur common-crawlers.json auswerten. AdsBot und andere Crawler mit besonderem Zweck stehen in special-crawlers.json, nutzerausgelöste Abrufe in eigenen Dateien.
  • Nutzerausgelöste Abrufe wie Googlebot behandeln. Laut Google ignorieren diese Abrufer die robots.txt in der Regel.
  • IPv6 vergessen. Die Dateien führen ipv4Prefix und ipv6Prefix. Ein Abgleich nur mit IPv4-Präfixen lässt IPv6-Zugriffe unerkannt.
  • Den alten Pfad googlebot.json im Skript lassen. Er leitet derzeit per 301 weiter, der Umzug ist angekündigt.

Quellen

  1. Googlebot und andere Google-Crawler verifizieren – Google Search Centraldevelopers.google.com
  2. New Location for the Google Crawlers' IP Range Files – Google Search Central Blog (31.03.2026)developers.google.com
  3. Google-Abrufer, die von Nutzern ausgelöst werden – Google Search Centraldevelopers.google.com
  4. common-crawlers.json – Google IP-Bereiche (Abruf 2026-10-06; alte URL googlebot.json leitet per 301 hierher)developers.google.com
  5. Urteil des EuGH vom 19.10.2016, C-582/14 (Breyer)eur-lex.europa.eu

Stand: