Ein Trainings-Crawler ist ein KI-Crawler, der Webseiten abruft, um Inhalte für das Training von KI-Modellen zu sammeln. Der Begriff ist eine gängige Sammelbezeichnung und keine Kategorie der Betreiber. Er unterscheidet sich von Bots, die eine Suche bedienen oder eine Seite auf Nutzeranfrage öffnen.
Auf einen Blick
- Art
- Sammelbegriff für Crawler (keine offizielle Kategorie)
- Wirkt auf
- Trainingsdaten für KI-Modelle
- Werte
GPTBot,ClaudeBot; bei Google das TokenGoogle-Extended
Stand:
Welche Trainings-Crawler gibt es?
OpenAI nennt GPTBot als Crawler für das Training seiner generativen Modelle. Wer GPTBot ausschließt, signalisiert laut OpenAI, dass die Inhalte nicht dafür genutzt werden sollen. Bei Anthropic dient ClaudeBot dazu, öffentlich zugängliche Inhalte zu sammeln, die zum Training beitragen können.
Google geht einen anderen Weg. Google-Extended ist ein Token in der robots.txt ohne eigenen User-Agent. Es legt fest, ob von Google gecrawlte Inhalte für das Training künftiger Gemini-Modelle verwendet werden. Auf Aufnahme und Ranking in der Google Suche hat es laut Google keinen Einfluss.
| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) | |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |
Auswahl von zehn KI-Bots großer Anbieter, keine vollständige Liste. Alle Werte stammen aus der Dokumentation des jeweiligen Betreibers (Stand 8. Oktober 2026). Ob ein Bot sich tatsächlich an die robots.txt hält, sagt die Tabelle nicht; sie gibt nur die Angaben der Betreiber wieder. Ein User-Agent lässt sich fälschen, echte Zugriffe erkennt man über die veröffentlichten IP-Listen oder Reverse-DNS. Quellen: OpenAI: Overview of OpenAI Crawlers; Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07); Perplexity: Perplexity Crawlers; Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google: Verifying Google crawlers and fetchers (IP range files); Apple: About Applebot (2026-09-04); Meta: Meta Web Crawlers; Common Crawl: CCBot. Stand: .
Wie lassen sie sich steuern?
Über die robots.txt, jeweils mit dem Token des Bots. Die Betreiber trennen Training und Suche, sodass sich beides einzeln ein- oder ausschalten lässt.
Beispiel
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
Beide Bots sind damit von der gesamten Website ausgeschlossen. Such- und Nutzer-Bots der Anbieter bleiben unberührt.
Quellen
- Overview of OpenAI Crawlers (GPTBot) – OpenAIdevelopers.openai.com
- Does Anthropic crawl data from the web, and how can site owners block the crawler? (ClaudeBot) – Claude Help Centersupport.claude.com
- Google Common Crawlers (Google-Extended) – Google Search Centraldevelopers.google.com
Stand: