# Googlebot

Kategorie: [Crawling & Indexierung](https://seo-geo-glossary.com/de/glossar/kategorie/crawling-indexierung/) › [Crawler & Bots](https://seo-geo-glossary.com/de/glossar/kategorie/crawling-indexierung/crawler-bots/) · Auch genannt: Google-Crawler

**Googlebot** ist der Web-Crawler der Google Suche. Er ruft Seiten und Ressourcen wie CSS- und JavaScript-Dateien ab, damit Google sie verarbeiten, rendern und für die Suche indexieren kann. Es gibt ihn in zwei Varianten, Googlebot Smartphone und Googlebot Desktop.

## Wie arbeitet Googlebot?

Googlebot folgt Links und URLs aus Sitemaps, prüft vorher die robots.txt und lädt dann die erlaubten Inhalte. Die beiden Varianten teilen sich das Product-Token `Googlebot` in der robots.txt. Eine Regel für `Googlebot` gilt immer für beide, gezielt nur eine Variante zu sperren ist nicht möglich. Für die Indexierung nutzt Google in erster Linie die mobile Version einer Seite (Mobile-First-Indexing).

Zur Last auf dem Server schreibt Google, dass Googlebot im Durchschnitt nicht öfter als einmal alle paar Sekunden auf eine Website zugreifen sollte. Bei Überlastung lässt sich die Crawling-Frequenz senken.

Für die Google Suche verarbeitet Googlebot laut Dokumentation die ersten 2 MB einer unterstützten Datei und die ersten 64 MB eines PDFs, gemessen am unkomprimierten Inhalt. Was danach kommt, wird nicht berücksichtigt. Das allgemeine Standardlimit der Google-Crawler und -Fetcher liegt laut Google bei 15 MB je Datei, einzelne Crawler wie Googlebot legen eigene Grenzen fest. Einige Drittquellen nennen für Googlebot noch 15 MB. Die gemeinsame Crawling-Infrastruktur unterstützt HTTP/1.1 und HTTP/2 sowie die Kompressionen gzip, deflate und Brotli.

## Beispiel

So meldet sich Googlebot Smartphone im User-Agent-Header (die Chrome-Version wechselt):

```txt
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
```

Eine robots.txt-Regel für Googlebot sieht so aus:

```robots
User-agent: Googlebot
Disallow: /intern/
```

## Echten Googlebot erkennen

Der User-Agent lässt sich beliebig fälschen, und viele Scraper geben sich als Googlebot aus. Google nennt zwei Wege zur Prüfung. Entweder per Reverse-DNS-Lookup der Quell-IP, deren Hostname auf `googlebot.com`, `google.com` oder `googleusercontent.com` enden muss, gefolgt von einem Forward-Lookup zurück auf dieselbe IP. Oder per Abgleich der IP mit den von Google veröffentlichten IP-Bereichen als JSON-Datei. In Logfile-Analysen lohnt es sich, gefälschte Zugriffe vor der Auswertung herauszufiltern.

## Häufige Fehler

- **Weniger Inhalt auf der Mobilversion.** Google indexiert in erster Linie die mobile Version. Fehlt dort Inhalt, den die Desktop-Seite hat, kann Google laut eigener Doku weniger Informationen aus der Seite ziehen.
- **Abweichende Robots-Meta-Tags auf Mobilgeräten.** Google empfiehlt auf Mobil- und Desktopversion dieselben Robots-Meta-Tags. Ein `noindex` nur auf der mobilen Seite wirkt sich bei Mobile-First-Indexing auf die Indexierung aus.
- **Gefälschte Googlebots mitzählen.** Ohne DNS- oder IP-Prüfung landen Scraper mit Googlebot-User-Agent in der Auswertung. Google empfiehlt die Prüfung per Reverse- und Forward-DNS-Lookup oder über die veröffentlichten IP-Bereiche.

## Häufige Fragen

**Verhindert ein Disallow in der robots.txt die Indexierung?**
Ein Disallow verhindert das Crawling. Für den Ausschluss aus dem Index ist `noindex` gedacht, und das wirkt nur, wenn Googlebot die Seite abrufen darf.

**Ist Googlebot dasselbe wie Google-Extended?**
Nein. Google-Extended ist ein Token in der robots.txt, mit dem Website-Betreiber steuern, ob ihre Inhalte für das Training von Gemini-Modellen und verwandte Dienste genutzt werden dürfen. Einen eigenen User-Agent gibt es dafür nicht, abgerufen wird mit den bestehenden Google-Crawlern. Laut Google beeinflusst das Token weder die Aufnahme in die Google Suche noch das Ranking.

## Auf einen Blick

- **Betreiber:** Google
- **Zweck:** Crawling für die Google Suche (Varianten Smartphone und Desktop)
- **robots.txt-Token:** Googlebot (gilt für beide Varianten)
- **Beachtet robots.txt:** ja
- **IP-Liste:** [common-crawlers.json](https://developers.google.com/static/crawling/ipranges/common-crawlers.json)
- **Doku:** [Google: Googlebot](https://developers.google.com/search/docs/crawling-indexing/googlebot?hl=de)

Stand: 8. Oktober 2026

## Google-Crawler im Vergleich

| Crawler | robots.txt-Token | Zweck | Wirkung einer Sperre auf die Google Suche | Im Log erkennbar an |
|---|---|---|---|---|
| Googlebot Smartphone | Googlebot | Crawling für Google Suche (inkl. Discover), Bilder, Video, News; Hauptcrawler für die meisten Websites | Seiten werden für die Suche nicht mehr gecrawlt | Googlebot/2.1 mit Android-Kennung |
| Googlebot Desktop | Googlebot | wie Smartphone, simuliert einen Desktop-Nutzer | wie Smartphone (gleiches Token, nicht getrennt sperrbar) | Googlebot/2.1 ohne Mobil-Kennung |
| Storebot-Google | Storebot-Google | Shopping: Produkte entdecken und indexieren | betrifft Shopping-Flächen inkl. Shopping-Tab der Suche | Storebot-Google/1.0 |
| GoogleOther | GoogleOther | generischer Crawler für Produktteams, z. B. einmalige Crawls für Forschung und Entwicklung | betrifft laut Google kein bestimmtes Produkt | GoogleOther |
| Google-InspectionTool | Google-InspectionTool, Googlebot | Testwerkzeuge: Rich-Results-Test, URL-Prüfung in der Search Console | keine (betrifft nur die Testwerkzeuge) | Google-InspectionTool/1.0 |
| Google-CloudVertexBot | Google-CloudVertexBot, Googlebot | Crawls auf Anfrage des Website-Betreibers für Vertex AI Agents | keine | Google-CloudVertexBot |
| Google-Extended | Google-Extended | Steuert, ob Inhalte für Gemini-Training und Grounding genutzt werden | keine; laut Google kein Einfluss auf Aufnahme in die Suche und kein Rankingsignal | gar nicht (kein eigener User-Agent-String) |

Quellen: [Google: Google's common crawlers (last updated 2026-07-14)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers); [Google: Overview of Google crawlers and fetchers (last updated 2026-06-12)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers); [Google Search Central: Googlebot (last updated 2026-02-03)](https://developers.google.com/search/docs/crawling-indexing/googlebot). Stand: 8. Oktober 2026

*Grafik: Ist das wirklich Googlebot?.* Beide DNS-Abfragen müssen zusammenpassen. Für große Mengen empfiehlt Google den automatischen Abgleich mit den veröffentlichten IP-Listen. Beispielwerte aus Googles Dokumentation.

## Nicht verwechseln

- [Google-Extended](https://seo-geo-glossary.com/de/glossar/google-extended/index.md): ist ein reines robots.txt-Token ohne eigenen Crawler. Es steuert, ob von Google gecrawlte Inhalte für Gemini-Modelle genutzt werden dürfen, und wirkt nicht auf die Google Suche.

## Verwandte Begriffe

- [Googlebot Smartphone](https://seo-geo-glossary.com/de/glossar/googlebot-smartphone/index.md)
- [Fake-Googlebot](https://seo-geo-glossary.com/de/glossar/fake-googlebot/index.md)

## Quellen

- [Googlebot – Google Search Central](https://developers.google.com/search/docs/crawling-indexing/googlebot?hl=de)
- [Google's common crawlers – Google Crawling Infrastructure](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers)
- [Overview of Google crawlers and fetchers – Google Crawling Infrastructure](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers)
- [Prüfen, ob Anfragen wirklich von Google stammen – Google Crawling Infrastructure](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests)
- [Best Practices für die Mobile-First-Indexierung – Google Search Central](https://developers.google.com/search/docs/crawling-indexing/mobile/mobile-sites-mobile-first-indexing?hl=de)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/googlebot/