GPTBot ist der Web-Crawler von OpenAI, der öffentlich zugängliche Webinhalte sammelt, um die generativen KI-Modelle des Unternehmens weiterzuentwickeln. Website-Betreiber können ihn in der robots.txt über das User-Agent-Token GPTBot zulassen oder ausschließen.
Auf einen Blick
- Betreiber
- OpenAI
- Zweck
- Training der generativen Basismodelle
- robots.txt-Token
GPTBot- Beachtet robots.txt
- Sperre heißt laut OpenAI: Inhalte nicht für das Training nutzen
- IP-Liste
openai.com/gptbot.json
Stand:
Was macht GPTBot?
OpenAI beschreibt den Zweck so, dass GPTBot die Basismodelle für generative KI nützlicher und sicherer machen soll. Sperrt eine Website GPTBot, signalisiert sie laut OpenAI, dass ihre Inhalte nicht für das Training verwendet werden sollen. Bekannt wurde der Crawler laut Berichten im August 2023.
OpenAI betreibt daneben weitere Bots mit anderen Aufgaben. OAI-SearchBot findet Websites für die Suchfunktionen von ChatGPT, ChatGPT-User ruft Seiten bei bestimmten Aktionen von Nutzern ab. Laut OpenAI sind die robots.txt-Einstellungen für die einzelnen Bots unabhängig voneinander.
| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) | |
| GPTBot (dieser Begriff) | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |
Auswahl von zehn KI-Bots großer Anbieter, keine vollständige Liste. Alle Werte stammen aus der Dokumentation des jeweiligen Betreibers (Stand 8. Oktober 2026). Ob ein Bot sich tatsächlich an die robots.txt hält, sagt die Tabelle nicht; sie gibt nur die Angaben der Betreiber wieder. Ein User-Agent lässt sich fälschen, echte Zugriffe erkennt man über die veröffentlichten IP-Listen oder Reverse-DNS. Quellen: OpenAI: Overview of OpenAI Crawlers; Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07); Perplexity: Perplexity Crawlers; Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google: Verifying Google crawlers and fetchers (IP range files); Apple: About Applebot (2026-09-04); Meta: Meta Web Crawlers; Common Crawl: CCBot. Stand: .
Wie erkennt man GPTBot?
Im User-Agent-String der Anfrage steht GPTBot mit einer Versionsnummer und dem Verweis +https://openai.com/gptbot. Weil jeder Client diese Kennung fälschen kann, veröffentlicht OpenAI die IP-Bereiche von GPTBot als JSON-Datei. Ein Abgleich der IP-Adresse in den Server-Logfiles mit dieser Liste zeigt, ob ein Zugriff tatsächlich von OpenAI stammt.
- Die IETF veröffentlicht das Robots Exclusion Protocol als RFC 9309 im Standards Track. Es legt fest, wie Crawler die Regeln einer robots.txt auslegen.Quelle: rfc-editor.org
- OpenAI führt Crawler-Berechtigungen für KI ein. Website-Betreiber können damit angeben, ob ihre Inhalte für KI-Training genutzt werden dürfen.Quelle: openai.com
- Google führt Google-Extended ein. Mit diesem Token in der robots.txt lässt sich steuern, ob Inhalte Bard und die generativen APIs von Vertex AI verbessern.Quelle: blog.google
- Nach der Umbenennung von Bard nennt die Google-Doku Gemini Apps als betroffenes Produkt von Google-Extended.Quelle: developers.google.com
- Apple stellt die Foundation Models für Apple Intelligence vor. Website-Betreiber können der Nutzung ihrer Inhalte für das Training widersprechen, laut Apple-Doku über Applebot-Extended.Quelle: machinelearning.apple.com
- Cloudflare bietet an, KI-Bots, Scraper und Crawler mit einem Klick zu blockieren.Quelle: blog.cloudflare.com
- Mit dem SearchGPT-Prototyp trennt OpenAI Suche und Training. Websites können in der Suche erscheinen, auch wenn sie das KI-Training ausschließen.Quelle: openai.com
- Google ergänzt Google-CloudVertexBot in der Crawler-Liste. Er crawlt Websites auf Wunsch der Betreiber für Vertex-AI-Agenten.Quelle: developers.google.com
- Google präzisiert nach Rückmeldungen von Publishern die Beschreibung von Google-Extended.Quelle: developers.google.com
- Cloudflare schlägt vor, dass Bots und Agenten ihre Anfragen kryptografisch signieren, auf Basis von HTTP Message Signatures (RFC 9421).Quelle: blog.cloudflare.com
- Cloudflare ändert die Voreinstellung und blockiert KI-Crawler standardmäßig, sofern Betreiber nichts anderes festlegen.Quelle: blog.cloudflare.com
- Cloudflare startet Pay per Crawl als geschlossene Beta. Crawler zahlen pro Abruf oder erhalten den Statuscode 402 mit Preisangabe.Quelle: blog.cloudflare.com
OpenAI nennt für die Crawler-Berechtigungen nur „letzten Sommer“ (Beitrag vom 7. Mai 2024); das oft genannte Datum August 2023 für GPTBot stammt aus Presseberichten. Für ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, OAI-SearchBot, ChatGPT-User, Meta-ExternalAgent und CCBot gibt es Doku der Betreiber, aber kein belegtes Einführungsdatum. Stand: .
Beispiel
GPTBot ausschließen, die ChatGPT-Suche aber zulassen:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Nur einzelne Verzeichnisse für GPTBot sperren:
User-agent: GPTBot
Disallow: /kundenbereich/
Disallow: /intern/
Häufige Fehler
- GPTBot mit dem Bot für die ChatGPT-Suche verwechseln. Wer in der ChatGPT-Suche erscheinen will, muss OAI-SearchBot zulassen. Die Regel für GPTBot betrifft nur das Training.
- Nur nach dem User-Agent filtern. Gefälschte Kennungen tauchen dann in Statistiken als GPTBot auf oder werden fälschlich gesperrt. Der Abgleich mit der IP-Liste zeigt, welche Zugriffe echt sind.
- Pauschale Sperren von Hostern oder CDNs übersehen. Bot-Schutz-Einstellungen können KI-Crawler blockieren, ohne dass das in der robots.txt steht (Einschätzung).
Häufige Fragen
Verschwindet eine Website aus der ChatGPT-Suche, wenn GPTBot gesperrt ist? Laut OpenAI nicht automatisch. Für die Suchfunktionen ist OAI-SearchBot zuständig, und die Einstellungen der Bots sind unabhängig voneinander.
Hält sich GPTBot an die robots.txt? OpenAI dokumentiert die Steuerung von GPTBot über die robots.txt. Mit Logfiles und der IP-Liste lässt sich prüfen, ob gesperrte Bereiche danach noch abgerufen werden.
Mehr dazu im searchVIU-Blog
Quellen
- Overview of OpenAI Crawlers – OpenAIdevelopers.openai.com
- GPTBot IP-Bereiche (JSON) – OpenAIopenai.com
- OpenAI's ChatGPT New Web Crawler – GPTBot – Search Engine Roundtable, 07.08.2023 (Zweitquelle für das Datum)seroundtable.com
Stand: