Googlebot ist der Web-Crawler der Google Suche. Er ruft Seiten und Ressourcen wie CSS- und JavaScript-Dateien ab, damit Google sie verarbeiten, rendern und für die Suche indexieren kann. Es gibt ihn in zwei Varianten, Googlebot Smartphone und Googlebot Desktop.
Auf einen Blick
- Betreiber
- Zweck
- Crawling für die Google Suche (Varianten Smartphone und Desktop)
- robots.txt-Token
Googlebot(gilt für beide Varianten)- Beachtet robots.txt
- ja
- IP-Liste
- common-crawlers.json
Stand:
Wie arbeitet Googlebot?
Googlebot folgt Links und URLs aus Sitemaps, prüft vorher die robots.txt und lädt dann die erlaubten Inhalte. Die beiden Varianten teilen sich das Product-Token Googlebot in der robots.txt. Eine Regel für Googlebot gilt immer für beide, gezielt nur eine Variante zu sperren ist nicht möglich. Für die Indexierung nutzt Google in erster Linie die mobile Version einer Seite (Mobile-First-Indexing).
Zur Last auf dem Server schreibt Google, dass Googlebot im Durchschnitt nicht öfter als einmal alle paar Sekunden auf eine Website zugreifen sollte. Bei Überlastung lässt sich die Crawling-Frequenz senken.
Für die Google Suche verarbeitet Googlebot laut Dokumentation die ersten 2 MB einer unterstützten Datei und die ersten 64 MB eines PDFs, gemessen am unkomprimierten Inhalt. Was danach kommt, wird nicht berücksichtigt. Das allgemeine Standardlimit der Google-Crawler und -Fetcher liegt laut Google bei 15 MB je Datei, einzelne Crawler wie Googlebot legen eigene Grenzen fest. Einige Drittquellen nennen für Googlebot noch 15 MB. Die gemeinsame Crawling-Infrastruktur unterstützt HTTP/1.1 und HTTP/2 sowie die Kompressionen gzip, deflate und Brotli.
| Crawler | robots.txt-Token | Zweck | Wirkung einer Sperre auf die Google Suche | Im Log erkennbar an |
|---|---|---|---|---|
| Googlebot Smartphone | Googlebot | Crawling für Google Suche (inkl. Discover), Bilder, Video, News; Hauptcrawler für die meisten Websites | Seiten werden für die Suche nicht mehr gecrawlt | Googlebot/ mit Android-Kennung |
| Googlebot Desktop (dieser Begriff) | Googlebot | wie Smartphone, simuliert einen Desktop-Nutzer | wie Smartphone (gleiches Token, nicht getrennt sperrbar) | Googlebot/ ohne Mobil-Kennung |
| Storebot-Google | Storebot-Google | Shopping: Produkte entdecken und indexieren | betrifft Shopping-Flächen inkl. Shopping-Tab der Suche | Storebot-Google/ |
| GoogleOther | GoogleOther | generischer Crawler für Produktteams, z. B. einmalige Crawls für Forschung und Entwicklung | betrifft laut Google kein bestimmtes Produkt | GoogleOther |
| Google-InspectionTool | Google-InspectionTool, Googlebot | Testwerkzeuge: Rich-Results-Test, URL-Prüfung in der Search Console | keine (betrifft nur die Testwerkzeuge) | Google-InspectionTool/ |
| Google-CloudVertexBot | Google-CloudVertexBot, Googlebot | Crawls auf Anfrage des Website-Betreibers für Vertex AI Agents | keine | Google-CloudVertexBot |
| Google-Extended | Google-Extended | Steuert, ob Inhalte für Gemini-Training und Grounding genutzt werden | keine; laut Google kein Einfluss auf Aufnahme in die Suche und kein Rankingsignal | gar nicht (kein eigener User-Agent-String) |
Googlebot Smartphone und Desktop teilen sich das Token Googlebot und lassen sich in der robots.txt nicht einzeln ansprechen. Laut Google stammt der Großteil der Googlebot-Anfragen vom mobilen Crawler. Google-Extended ist ein reines Steuerungs-Token; gecrawlt wird mit den bestehenden Google-User-Agents. Alle hier genannten Crawler gehören zu Googles gängigen Crawlern, die robots.txt bei automatischen Crawls immer beachten. Quellen: Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google Search Central: Googlebot (last updated 2026-02-03). Stand: .
Beispiel
So meldet sich Googlebot Smartphone im User-Agent-Header (die Chrome-Version wechselt):
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Eine robots.txt-Regel für Googlebot sieht so aus:
User-agent: Googlebot
Disallow: /intern/
Echten Googlebot erkennen
Der User-Agent lässt sich beliebig fälschen, und viele Scraper geben sich als Googlebot aus. Google nennt zwei Wege zur Prüfung. Entweder per Reverse-DNS-Lookup der Quell-IP, deren Hostname auf googlebot.com, google.com oder googleusercontent.com enden muss, gefolgt von einem Forward-Lookup zurück auf dieselbe IP. Oder per Abgleich der IP mit den von Google veröffentlichten IP-Bereichen als JSON-Datei. In Logfile-Analysen lohnt es sich, gefälschte Zugriffe vor der Auswertung herauszufiltern.
Häufige Fehler
- Weniger Inhalt auf der Mobilversion. Google indexiert in erster Linie die mobile Version. Fehlt dort Inhalt, den die Desktop-Seite hat, kann Google laut eigener Doku weniger Informationen aus der Seite ziehen.
- Abweichende Robots-Meta-Tags auf Mobilgeräten. Google empfiehlt auf Mobil- und Desktopversion dieselben Robots-Meta-Tags. Ein
noindexnur auf der mobilen Seite wirkt sich bei Mobile-First-Indexing auf die Indexierung aus. - Gefälschte Googlebots mitzählen. Ohne DNS- oder IP-Prüfung landen Scraper mit Googlebot-User-Agent in der Auswertung. Google empfiehlt die Prüfung per Reverse- und Forward-DNS-Lookup oder über die veröffentlichten IP-Bereiche.
Häufige Fragen
Verhindert ein Disallow in der robots.txt die Indexierung?
Ein Disallow verhindert das Crawling. Für den Ausschluss aus dem Index ist noindex gedacht, und das wirkt nur, wenn Googlebot die Seite abrufen darf.
Ist Googlebot dasselbe wie Google-Extended? Nein. Google-Extended ist ein Token in der robots.txt, mit dem Website-Betreiber steuern, ob ihre Inhalte für das Training von Gemini-Modellen und verwandte Dienste genutzt werden dürfen. Einen eigenen User-Agent gibt es dafür nicht, abgerufen wird mit den bestehenden Google-Crawlern. Laut Google beeinflusst das Token weder die Aufnahme in die Google Suche noch das Ranking.
Quellen
- Googlebot – Google Search Centraldevelopers.google.com
- Google's common crawlers – Google Crawling Infrastructuredevelopers.google.com
- Overview of Google crawlers and fetchers – Google Crawling Infrastructuredevelopers.google.com
- Prüfen, ob Anfragen wirklich von Google stammen – Google Crawling Infrastructuredevelopers.google.com
- Best Practices für die Mobile-First-Indexierung – Google Search Centraldevelopers.google.com
Stand: