Ein KI-Crawler (englisch AI Crawler) ist ein automatisiertes Programm, das Webseiten für KI-Anwendungen abruft. Betreiber wie OpenAI, Anthropic oder Perplexity nutzen solche Crawler, um Trainingsdaten für Sprachmodelle zu sammeln, einen eigenen Suchindex für KI-Antworten aufzubauen oder Seiten im Auftrag eines Nutzers zu öffnen.
Auf einen Blick
- Betreiber
- KI-Anbieter, z. B. OpenAI, Anthropic, Perplexity, Google
- Zweck
- Training, Suche oder Abruf im Auftrag eines Nutzers
- robots.txt-Token
- je Bot eigenes Token, z. B.
GPTBot,ClaudeBot,Google-Extended - Beachtet robots.txt
- je nach Betreiber; Nutzerabrufe beachten sie teils nicht
- IP-Liste
- bei vielen Betreibern als JSON, z. B.
openai.com/gptbot.json
Stand:
Welche Arten von KI-Crawlern gibt es?
Die großen Anbieter trennen ihre Bots inzwischen nach Zweck. Jeder hat einen eigenen User-Agent und lässt sich einzeln steuern.
- Training: sammelt Inhalte für künftige Modelle. Beispiel: GPTBot von OpenAI, ClaudeBot von Anthropic.
- Suche: baut einen Index auf, aus dem KI-Antworten mit Quellenlinks entstehen. Beispiel: OAI-SearchBot, Claude-SearchBot.
- Nutzerabruf: öffnet eine Seite, weil ein Mensch im Chat danach fragt. Beispiel: ChatGPT-User, Claude-User.
Laut OpenAI sind die Einstellungen unabhängig voneinander. Eine Website kann also OAI-SearchBot erlauben und GPTBot sperren. Bei ChatGPT-User weist OpenAI darauf hin, dass robots.txt-Regeln möglicherweise nicht gelten, weil der Abruf von einer Nutzeraktion ausgelöst wird.
Google geht einen anderen Weg. Google-Extended ist ein Token in der robots.txt ohne eigenen User-Agent, gecrawlt wird mit den bestehenden Google-Crawlern. Über das Token legen Websites fest, ob von Google gecrawlte Inhalte für das Training von Gemini-Modellen und für die Fundierung von Antworten genutzt werden dürfen. Auf die Aufnahme in die Google Suche und das Ranking hat es laut Google keinen Einfluss.
| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) | |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |
Auswahl von zehn KI-Bots großer Anbieter, keine vollständige Liste. Alle Werte stammen aus der Dokumentation des jeweiligen Betreibers (Stand 8. Oktober 2026). Ob ein Bot sich tatsächlich an die robots.txt hält, sagt die Tabelle nicht; sie gibt nur die Angaben der Betreiber wieder. Ein User-Agent lässt sich fälschen, echte Zugriffe erkennt man über die veröffentlichten IP-Listen oder Reverse-DNS. Quellen: OpenAI: Overview of OpenAI Crawlers; Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07); Perplexity: Perplexity Crawlers; Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google: Verifying Google crawlers and fetchers (IP range files); Apple: About Applebot (2026-09-04); Meta: Meta Web Crawlers; Common Crawl: CCBot. Stand: .
- Die IETF veröffentlicht das Robots Exclusion Protocol als RFC 9309 im Standards Track. Es legt fest, wie Crawler die Regeln einer robots.txt auslegen.Quelle: rfc-editor.org
- OpenAI führt Crawler-Berechtigungen für KI ein. Website-Betreiber können damit angeben, ob ihre Inhalte für KI-Training genutzt werden dürfen.Quelle: openai.com
- Google führt Google-Extended ein. Mit diesem Token in der robots.txt lässt sich steuern, ob Inhalte Bard und die generativen APIs von Vertex AI verbessern.Quelle: blog.google
- Nach der Umbenennung von Bard nennt die Google-Doku Gemini Apps als betroffenes Produkt von Google-Extended.Quelle: developers.google.com
- Apple stellt die Foundation Models für Apple Intelligence vor. Website-Betreiber können der Nutzung ihrer Inhalte für das Training widersprechen, laut Apple-Doku über Applebot-Extended.Quelle: machinelearning.apple.com
- Cloudflare bietet an, KI-Bots, Scraper und Crawler mit einem Klick zu blockieren.Quelle: blog.cloudflare.com
- Mit dem SearchGPT-Prototyp trennt OpenAI Suche und Training. Websites können in der Suche erscheinen, auch wenn sie das KI-Training ausschließen.Quelle: openai.com
- Google ergänzt Google-CloudVertexBot in der Crawler-Liste. Er crawlt Websites auf Wunsch der Betreiber für Vertex-AI-Agenten.Quelle: developers.google.com
- Google präzisiert nach Rückmeldungen von Publishern die Beschreibung von Google-Extended.Quelle: developers.google.com
- Cloudflare schlägt vor, dass Bots und Agenten ihre Anfragen kryptografisch signieren, auf Basis von HTTP Message Signatures (RFC 9421).Quelle: blog.cloudflare.com
- Cloudflare ändert die Voreinstellung und blockiert KI-Crawler standardmäßig, sofern Betreiber nichts anderes festlegen.Quelle: blog.cloudflare.com
- Cloudflare startet Pay per Crawl als geschlossene Beta. Crawler zahlen pro Abruf oder erhalten den Statuscode 402 mit Preisangabe.Quelle: blog.cloudflare.com
OpenAI nennt für die Crawler-Berechtigungen nur „letzten Sommer“ (Beitrag vom 7. Mai 2024); das oft genannte Datum August 2023 für GPTBot stammt aus Presseberichten. Für ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, OAI-SearchBot, ChatGPT-User, Meta-ExternalAgent und CCBot gibt es Doku der Betreiber, aber kein belegtes Einführungsdatum. Stand: .
Beispiel
Eine Website möchte in KI-Suchen von OpenAI erscheinen, ihre Texte aber nicht für das Modelltraining freigeben:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Was bei KI-Crawlern zu beachten ist
Die robots.txt ist eine Bitte an Crawler und kein Zugriffsschutz. Anthropic gibt an, dass seine Bots die robots.txt beachten. OpenAI dokumentiert für GPTBot und OAI-SearchBot eigene Tokens, über die Websites per robots.txt steuern, wie ihre Inhalte genutzt werden. Den User-Agent kann allerdings jedes Programm frei angeben. Ob ein Zugriff wirklich von OpenAI stammt, zeigt erst der Abgleich mit den IP-Bereichen, die OpenAI veröffentlicht. Welche KI-Crawler eine Website tatsächlich besuchen, wie oft und welche Seiten, lässt sich nur in den Server-Logfiles ablesen.
Häufige Fehler
- Training und Suche gleich behandeln. Laut OpenAI sind die Einstellungen der Bots unabhängig voneinander. Wer OAI-SearchBot sperrt, erscheint laut OpenAI nicht in den Suchantworten von ChatGPT, auch wenn GPTBot erlaubt ist.
- Von Nutzerabrufen erwarten, dass sie die robots.txt befolgen. Für ChatGPT-User gelten laut OpenAI robots.txt-Regeln möglicherweise nicht, Perplexity-User ignoriert sie laut Perplexity in der Regel.
- Googlebot sperren, um KI-Training zu verhindern. Dafür ist das Token Google-Extended gedacht. Eine Sperre des Googlebot entfernt die Website aus der Google Suche.
- Per IP-Sperre statt per robots.txt aussperren. Anthropic weist darauf hin, dass seine Bots die robots.txt dann nicht lesen können und der Ausschluss nicht zuverlässig wirkt.
Häufige Fragen
Schadet es dem Google-Ranking, KI-Crawler zu sperren? Für Google-Extended sagt Google ausdrücklich, dass das Token weder die Aufnahme in die Google Suche noch das Ranking beeinflusst. Wer dagegen den Googlebot sperrt, verschwindet aus der Google Suche und damit auch aus AI Overviews und dem KI-Modus.
Mehr dazu im searchVIU-Blog
Quellen
- Overview of OpenAI Crawlers – OpenAIdevelopers.openai.com
- Does Anthropic crawl data from the web, and how can site owners block the crawler? – Claude Help Centersupport.claude.com
- Übersicht über die gängigen Crawler von Google (Google-Extended) – Google Search Centraldevelopers.google.com
- Perplexity Crawlers – Perplexity Docsdocs.perplexity.ai
- RFC 9309: Robots Exclusion Protocolrfc-editor.org
- KI-Funktionen und deine Website – Google Search Centraldevelopers.google.com
Stand: