# Google-Extended

Kategorie: [KI-Suche & GEO](https://seo-geo-glossary.com/de/glossar/kategorie/ki-suche-geo/) › [Steuerung & Opt-out](https://seo-geo-glossary.com/de/glossar/kategorie/ki-suche-geo/steuerung-opt-out/)

**Google-Extended** ist ein User-Agent-Token für die robots.txt, mit dem Website-Betreiber steuern, ob Google von seinen Crawlern abgerufene Inhalte für Gemini nutzen darf. Laut Google betrifft das das Training künftiger Gemini-Modelle, die Vertex AI API für Gemini und das Grounding, also das Einbinden von Suchinhalten in Antworten.

## Was steuert Google-Extended?

Google-Extended hat laut Dokumentation keinen Einfluss auf die Aufnahme einer Website in die Google Suche und wird nicht als Ranking-Signal verwendet. Das Token hat auch keinen eigenen User-Agent-String für HTTP-Anfragen. Das Crawling läuft über die vorhandenen Google-User-Agents, in Server-Logs taucht Google-Extended deshalb nicht auf.

Google beschreibt AI Overviews und den KI-Modus als Funktionen der Google Suche. Für sie verlangt Google keine zusätzlichen Anforderungen außer Indexierung und Snippet-Eignung. Die Steuerung über Google-Extended umfasst diese Funktionen deshalb vermutlich nicht (Einschätzung).

## Beispiel

Ein Eintrag in der robots.txt nach dem Muster der Google-Dokumentation:

```robots
user-agent: Google-Extended
allow: /archive/1Q84
disallow: /archive/
```

Der Beispielbereich unter `/archive/` steht dann für die genannten Gemini-Zwecke nicht zur Verfügung, mit Ausnahme der einen Unterseite.

## Häufige Fragen

**Schadet es dem Ranking, Google-Extended zu blockieren?**
Laut Google-Dokumentation nicht. Das Token ist kein Ranking-Signal und hat keinen Einfluss auf die Aufnahme in die Suche.

**Blockiert Google-Extended auch andere KI-Bots?**
Nein, das Token gilt nur für Google. Andere Anbieter haben eigene Bots mit eigenen Einträgen.

## Auf einen Blick

- **Betreiber:** Google
- **Zweck:** Steuert die Nutzung gecrawlter Inhalte für Gemini-Training und Grounding
- **robots.txt-Token:** Google-Extended
- **Beachtet robots.txt:** Reines robots.txt-Token, abgerufen wird mit den bestehenden Google-Crawlern
- **Seit:** 2023-09-28
- **Doku:** [Googles gewöhnliche Crawler](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers)

Stand: 8. Oktober 2026

## KI-Bots im Vergleich

| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Google | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.com/gptbot.json) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.com/searchbot.json) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.com/chatgpt-user.json) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.com/perplexitybot.json) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.commoncrawl.org/ccbot.json) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |

Quellen: [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots); [Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07)](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler); [Perplexity: Perplexity Crawlers](https://docs.perplexity.ai/guides/bots); [Google: Google's common crawlers (last updated 2026-07-14)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers); [Google: Overview of Google crawlers and fetchers (last updated 2026-06-12)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers); [Google: Verifying Google crawlers and fetchers (IP range files)](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests); [Apple: About Applebot (2026-09-04)](https://support.apple.com/en-us/119829); [Meta: Meta Web Crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/); [Common Crawl: CCBot](https://commoncrawl.org/ccbot). Stand: 8. Oktober 2026

## Google-Crawler im Vergleich

| Crawler | robots.txt-Token | Zweck | Wirkung einer Sperre auf die Google Suche | Im Log erkennbar an |
|---|---|---|---|---|
| Googlebot Smartphone | Googlebot | Crawling für Google Suche (inkl. Discover), Bilder, Video, News; Hauptcrawler für die meisten Websites | Seiten werden für die Suche nicht mehr gecrawlt | Googlebot/2.1 mit Android-Kennung |
| Googlebot Desktop | Googlebot | wie Smartphone, simuliert einen Desktop-Nutzer | wie Smartphone (gleiches Token, nicht getrennt sperrbar) | Googlebot/2.1 ohne Mobil-Kennung |
| Storebot-Google | Storebot-Google | Shopping: Produkte entdecken und indexieren | betrifft Shopping-Flächen inkl. Shopping-Tab der Suche | Storebot-Google/1.0 |
| GoogleOther | GoogleOther | generischer Crawler für Produktteams, z. B. einmalige Crawls für Forschung und Entwicklung | betrifft laut Google kein bestimmtes Produkt | GoogleOther |
| Google-InspectionTool | Google-InspectionTool, Googlebot | Testwerkzeuge: Rich-Results-Test, URL-Prüfung in der Search Console | keine (betrifft nur die Testwerkzeuge) | Google-InspectionTool/1.0 |
| Google-CloudVertexBot | Google-CloudVertexBot, Googlebot | Crawls auf Anfrage des Website-Betreibers für Vertex AI Agents | keine | Google-CloudVertexBot |
| Google-Extended | Google-Extended | Steuert, ob Inhalte für Gemini-Training und Grounding genutzt werden | keine; laut Google kein Einfluss auf Aufnahme in die Suche und kein Rankingsignal | gar nicht (kein eigener User-Agent-String) |

Quellen: [Google: Google's common crawlers (last updated 2026-07-14)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers); [Google: Overview of Google crawlers and fetchers (last updated 2026-06-12)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers); [Google Search Central: Googlebot (last updated 2026-02-03)](https://developers.google.com/search/docs/crawling-indexing/googlebot). Stand: 8. Oktober 2026

## KI-Bots: Crawler, Tokens und Steuerung

- **September 2022:** Die IETF veröffentlicht das Robots Exclusion Protocol als RFC 9309 im Standards Track. Es legt fest, wie Crawler die Regeln einer robots.txt auslegen. ([Quelle](https://www.rfc-editor.org/rfc/rfc9309.html))
- **2023:** OpenAI führt Crawler-Berechtigungen für KI ein. Website-Betreiber können damit angeben, ob ihre Inhalte für KI-Training genutzt werden dürfen. ([Quelle](https://openai.com/index/approach-to-data-and-ai/))
- **28. September 2023:** Google führt Google-Extended ein. Mit diesem Token in der robots.txt lässt sich steuern, ob Inhalte Bard und die generativen APIs von Vertex AI verbessern. ([Quelle](https://blog.google/technology/ai/an-update-on-web-publisher-controls/))
- **8. Februar 2024:** Nach der Umbenennung von Bard nennt die Google-Doku Gemini Apps als betroffenes Produkt von Google-Extended. ([Quelle](https://developers.google.com/search/updates#updated-the-description-of-the-google-extended-product-token_1))
- **10. Juni 2024:** Apple stellt die Foundation Models für Apple Intelligence vor. Website-Betreiber können der Nutzung ihrer Inhalte für das Training widersprechen, laut Apple-Doku über Applebot-Extended. ([Quelle](https://machinelearning.apple.com/research/introducing-apple-foundation-models))
- **3. Juli 2024:** Cloudflare bietet an, KI-Bots, Scraper und Crawler mit einem Klick zu blockieren. ([Quelle](https://blog.cloudflare.com/declaring-your-aindependence-block-ai-bots-scrapers-and-crawlers-with-a-single-click/))
- **25. Juli 2024:** Mit dem SearchGPT-Prototyp trennt OpenAI Suche und Training. Websites können in der Suche erscheinen, auch wenn sie das KI-Training ausschließen. ([Quelle](https://openai.com/index/searchgpt-prototype/))
- **20. August 2024:** Google ergänzt Google-CloudVertexBot in der Crawler-Liste. Er crawlt Websites auf Wunsch der Betreiber für Vertex-AI-Agenten. ([Quelle](https://developers.google.com/search/updates#introducing-the-google-cloudvertexbot-crawler))
- **25. April 2025:** Google präzisiert nach Rückmeldungen von Publishern die Beschreibung von Google-Extended. ([Quelle](https://developers.google.com/search/updates#updated-the-description-of-the-google-extended-product-token))
- **15. Mai 2025:** Cloudflare schlägt vor, dass Bots und Agenten ihre Anfragen kryptografisch signieren, auf Basis von HTTP Message Signatures (RFC 9421). ([Quelle](https://blog.cloudflare.com/web-bot-auth/))
- **1. Juli 2025:** Cloudflare ändert die Voreinstellung und blockiert KI-Crawler standardmäßig, sofern Betreiber nichts anderes festlegen. ([Quelle](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/))
- **1. Juli 2025:** Cloudflare startet Pay per Crawl als geschlossene Beta. Crawler zahlen pro Abruf oder erhalten den Statuscode 402 mit Preisangabe. ([Quelle](https://blog.cloudflare.com/introducing-pay-per-crawl/))

## Nicht verwechseln

- [Googlebot](https://seo-geo-glossary.com/de/glossar/googlebot/index.md): ruft Seiten für die Google Suche ab und erscheint in Server-Logs mit eigenem User-Agent. Das Token hat keinen eigenen User-Agent und beeinflusst die Aufnahme in die Suche nicht.

## Verwandte Begriffe

- [Googlebot](https://seo-geo-glossary.com/de/glossar/googlebot/index.md)
- [robots.txt](https://seo-geo-glossary.com/de/glossar/robots-txt/index.md)
- [Trainings-Crawler](https://seo-geo-glossary.com/de/glossar/trainings-crawler/index.md)
- [KI-Bots blockieren](https://seo-geo-glossary.com/de/glossar/ki-bots-blockieren/index.md)
- [Trainingsdaten](https://seo-geo-glossary.com/de/glossar/trainingsdaten/index.md)
- [Applebot / Applebot-Extended](https://seo-geo-glossary.com/de/glossar/applebot-applebot-extended/index.md)
- [AI Overviews (Übersicht mit KI)](https://seo-geo-glossary.com/de/glossar/ai-overviews/index.md)

## Quellen

- [Gewöhnliche Crawler von Google (Google-Extended) – Google Crawling Infrastructure](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers?hl=de)
- [KI-Funktionen in der Google Suche – Google Search Central](https://developers.google.com/search/docs/appearance/ai-features?hl=de)
- [Google-Extended: neue Möglichkeit per robots.txt – seo-suedwest.de (Zweitquelle, Datum 29.09.2023)](https://www.seo-suedwest.de/8968-google-extended-neue-moeglichkeit-per-robots-txt-die-nutzung-von-webseiten-fuer-bard-und-generative-ai-zu-steuern.html)
- [Google-Extended: Kontrolle für Gemini-Training – muratulusoy.de (Zweitquelle)](https://www.muratulusoy.de/glossar/google-extended.html)
- [An update on web publisher controls – Google Blog (28.09.2023)](https://blog.google/innovation-and-ai/products/an-update-on-web-publisher-controls/)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/google-extended/