Google-Extended ist ein User-Agent-Token für die robots.txt, mit dem Website-Betreiber steuern, ob Google von seinen Crawlern abgerufene Inhalte für Gemini nutzen darf. Laut Google betrifft das das Training künftiger Gemini-Modelle, die Vertex AI API für Gemini und das Grounding, also das Einbinden von Suchinhalten in Antworten.
Auf einen Blick
- Betreiber
- Zweck
- Steuert die Nutzung gecrawlter Inhalte für Gemini-Training und Grounding
- robots.txt-Token
Google-Extended- Beachtet robots.txt
- Reines robots.txt-Token, abgerufen wird mit den bestehenden Google-Crawlern
- Seit
- 2023-09-28
Stand:
Was steuert Google-Extended?
Google-Extended hat laut Dokumentation keinen Einfluss auf die Aufnahme einer Website in die Google Suche und wird nicht als Ranking-Signal verwendet. Das Token hat auch keinen eigenen User-Agent-String für HTTP-Anfragen. Das Crawling läuft über die vorhandenen Google-User-Agents, in Server-Logs taucht Google-Extended deshalb nicht auf.
Google beschreibt AI Overviews und den KI-Modus als Funktionen der Google Suche. Für sie verlangt Google keine zusätzlichen Anforderungen außer Indexierung und Snippet-Eignung. Die Steuerung über Google-Extended umfasst diese Funktionen deshalb vermutlich nicht (Einschätzung).
| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended (dieser Begriff) | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) | |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |
Auswahl von zehn KI-Bots großer Anbieter, keine vollständige Liste. Alle Werte stammen aus der Dokumentation des jeweiligen Betreibers (Stand 8. Oktober 2026). Ob ein Bot sich tatsächlich an die robots.txt hält, sagt die Tabelle nicht; sie gibt nur die Angaben der Betreiber wieder. Ein User-Agent lässt sich fälschen, echte Zugriffe erkennt man über die veröffentlichten IP-Listen oder Reverse-DNS. Quellen: OpenAI: Overview of OpenAI Crawlers; Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07); Perplexity: Perplexity Crawlers; Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google: Verifying Google crawlers and fetchers (IP range files); Apple: About Applebot (2026-09-04); Meta: Meta Web Crawlers; Common Crawl: CCBot. Stand: .
| Crawler | robots.txt-Token | Zweck | Wirkung einer Sperre auf die Google Suche | Im Log erkennbar an |
|---|---|---|---|---|
| Googlebot Smartphone | Googlebot | Crawling für Google Suche (inkl. Discover), Bilder, Video, News; Hauptcrawler für die meisten Websites | Seiten werden für die Suche nicht mehr gecrawlt | Googlebot/ mit Android-Kennung |
| Googlebot Desktop | Googlebot | wie Smartphone, simuliert einen Desktop-Nutzer | wie Smartphone (gleiches Token, nicht getrennt sperrbar) | Googlebot/ ohne Mobil-Kennung |
| Storebot-Google | Storebot-Google | Shopping: Produkte entdecken und indexieren | betrifft Shopping-Flächen inkl. Shopping-Tab der Suche | Storebot-Google/ |
| GoogleOther | GoogleOther | generischer Crawler für Produktteams, z. B. einmalige Crawls für Forschung und Entwicklung | betrifft laut Google kein bestimmtes Produkt | GoogleOther |
| Google-InspectionTool | Google-InspectionTool, Googlebot | Testwerkzeuge: Rich-Results-Test, URL-Prüfung in der Search Console | keine (betrifft nur die Testwerkzeuge) | Google-InspectionTool/ |
| Google-CloudVertexBot | Google-CloudVertexBot, Googlebot | Crawls auf Anfrage des Website-Betreibers für Vertex AI Agents | keine | Google-CloudVertexBot |
| Google-Extended (dieser Begriff) | Google-Extended | Steuert, ob Inhalte für Gemini-Training und Grounding genutzt werden | keine; laut Google kein Einfluss auf Aufnahme in die Suche und kein Rankingsignal | gar nicht (kein eigener User-Agent-String) |
Googlebot Smartphone und Desktop teilen sich das Token Googlebot und lassen sich in der robots.txt nicht einzeln ansprechen. Laut Google stammt der Großteil der Googlebot-Anfragen vom mobilen Crawler. Google-Extended ist ein reines Steuerungs-Token; gecrawlt wird mit den bestehenden Google-User-Agents. Alle hier genannten Crawler gehören zu Googles gängigen Crawlern, die robots.txt bei automatischen Crawls immer beachten. Quellen: Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google Search Central: Googlebot (last updated 2026-02-03). Stand: .
- Die IETF veröffentlicht das Robots Exclusion Protocol als RFC 9309 im Standards Track. Es legt fest, wie Crawler die Regeln einer robots.txt auslegen.Quelle: rfc-editor.org
- OpenAI führt Crawler-Berechtigungen für KI ein. Website-Betreiber können damit angeben, ob ihre Inhalte für KI-Training genutzt werden dürfen.Quelle: openai.com
- Google führt Google-Extended ein. Mit diesem Token in der robots.txt lässt sich steuern, ob Inhalte Bard und die generativen APIs von Vertex AI verbessern.Quelle: blog.google
- Nach der Umbenennung von Bard nennt die Google-Doku Gemini Apps als betroffenes Produkt von Google-Extended.Quelle: developers.google.com
- Apple stellt die Foundation Models für Apple Intelligence vor. Website-Betreiber können der Nutzung ihrer Inhalte für das Training widersprechen, laut Apple-Doku über Applebot-Extended.Quelle: machinelearning.apple.com
- Cloudflare bietet an, KI-Bots, Scraper und Crawler mit einem Klick zu blockieren.Quelle: blog.cloudflare.com
- Mit dem SearchGPT-Prototyp trennt OpenAI Suche und Training. Websites können in der Suche erscheinen, auch wenn sie das KI-Training ausschließen.Quelle: openai.com
- Google ergänzt Google-CloudVertexBot in der Crawler-Liste. Er crawlt Websites auf Wunsch der Betreiber für Vertex-AI-Agenten.Quelle: developers.google.com
- Google präzisiert nach Rückmeldungen von Publishern die Beschreibung von Google-Extended.Quelle: developers.google.com
- Cloudflare schlägt vor, dass Bots und Agenten ihre Anfragen kryptografisch signieren, auf Basis von HTTP Message Signatures (RFC 9421).Quelle: blog.cloudflare.com
- Cloudflare ändert die Voreinstellung und blockiert KI-Crawler standardmäßig, sofern Betreiber nichts anderes festlegen.Quelle: blog.cloudflare.com
- Cloudflare startet Pay per Crawl als geschlossene Beta. Crawler zahlen pro Abruf oder erhalten den Statuscode 402 mit Preisangabe.Quelle: blog.cloudflare.com
OpenAI nennt für die Crawler-Berechtigungen nur „letzten Sommer“ (Beitrag vom 7. Mai 2024); das oft genannte Datum August 2023 für GPTBot stammt aus Presseberichten. Für ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, OAI-SearchBot, ChatGPT-User, Meta-ExternalAgent und CCBot gibt es Doku der Betreiber, aber kein belegtes Einführungsdatum. Stand: .
Beispiel
Ein Eintrag in der robots.txt nach dem Muster der Google-Dokumentation:
user-agent: Google-Extended
allow: /archive/1Q84
disallow: /archive/
Der Beispielbereich unter /archive/ steht dann für die genannten Gemini-Zwecke nicht zur Verfügung, mit Ausnahme der einen Unterseite.
Häufige Fragen
Schadet es dem Ranking, Google-Extended zu blockieren? Laut Google-Dokumentation nicht. Das Token ist kein Ranking-Signal und hat keinen Einfluss auf die Aufnahme in die Suche.
Blockiert Google-Extended auch andere KI-Bots? Nein, das Token gilt nur für Google. Andere Anbieter haben eigene Bots mit eigenen Einträgen.
Quellen
- Gewöhnliche Crawler von Google (Google-Extended) – Google Crawling Infrastructuredevelopers.google.com
- KI-Funktionen in der Google Suche – Google Search Centraldevelopers.google.com
- Google-Extended: neue Möglichkeit per robots.txt – seo-suedwest.de (Zweitquelle, Datum 29.09.2023)seo-suedwest.de
- Google-Extended: Kontrolle für Gemini-Training – muratulusoy.de (Zweitquelle)muratulusoy.de
- An update on web publisher controls – Google Blog (28.09.2023)blog.google
Stand: