# GPTBot

Kategorie: [KI-Bots & Crawler](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/) › [Bots von OpenAI, Anthropic & Perplexity](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/openai-anthropic-perplexity/)

**GPTBot** ist der Web-Crawler von OpenAI, der öffentlich zugängliche Webinhalte sammelt, um die generativen KI-Modelle des Unternehmens weiterzuentwickeln. Website-Betreiber können ihn in der robots.txt über das User-Agent-Token `GPTBot` zulassen oder ausschließen.

## Was macht GPTBot?

OpenAI beschreibt den Zweck so, dass GPTBot die Basismodelle für generative KI nützlicher und sicherer machen soll. Sperrt eine Website GPTBot, signalisiert sie laut OpenAI, dass ihre Inhalte nicht für das Training verwendet werden sollen. Bekannt wurde der Crawler laut Berichten im August 2023.

OpenAI betreibt daneben weitere Bots mit anderen Aufgaben. **OAI-SearchBot** findet Websites für die Suchfunktionen von ChatGPT, **ChatGPT-User** ruft Seiten bei bestimmten Aktionen von Nutzern ab. Laut OpenAI sind die robots.txt-Einstellungen für die einzelnen Bots unabhängig voneinander.

## Wie erkennt man GPTBot?

Im User-Agent-String der Anfrage steht `GPTBot` mit einer Versionsnummer und dem Verweis `+https://openai.com/gptbot`. Weil jeder Client diese Kennung fälschen kann, veröffentlicht OpenAI die IP-Bereiche von GPTBot als JSON-Datei. Ein Abgleich der IP-Adresse in den Server-Logfiles mit dieser Liste zeigt, ob ein Zugriff tatsächlich von OpenAI stammt.

## Beispiel

GPTBot ausschließen, die ChatGPT-Suche aber zulassen:

```robots
User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
```

Nur einzelne Verzeichnisse für GPTBot sperren:

```robots
User-agent: GPTBot
Disallow: /kundenbereich/
Disallow: /intern/
```

## Häufige Fehler

- **GPTBot mit dem Bot für die ChatGPT-Suche verwechseln.** Wer in der ChatGPT-Suche erscheinen will, muss OAI-SearchBot zulassen. Die Regel für GPTBot betrifft nur das Training.
- **Nur nach dem User-Agent filtern.** Gefälschte Kennungen tauchen dann in Statistiken als GPTBot auf oder werden fälschlich gesperrt. Der Abgleich mit der IP-Liste zeigt, welche Zugriffe echt sind.
- **Pauschale Sperren von Hostern oder CDNs übersehen.** Bot-Schutz-Einstellungen können KI-Crawler blockieren, ohne dass das in der robots.txt steht (Einschätzung).

## Häufige Fragen

**Verschwindet eine Website aus der ChatGPT-Suche, wenn GPTBot gesperrt ist?**
Laut OpenAI nicht automatisch. Für die Suchfunktionen ist OAI-SearchBot zuständig, und die Einstellungen der Bots sind unabhängig voneinander.

**Hält sich GPTBot an die robots.txt?**
OpenAI dokumentiert die Steuerung von GPTBot über die robots.txt. Mit Logfiles und der IP-Liste lässt sich prüfen, ob gesperrte Bereiche danach noch abgerufen werden.

## Auf einen Blick

- **Betreiber:** OpenAI
- **Zweck:** Training der generativen Basismodelle
- **robots.txt-Token:** GPTBot
- **Beachtet robots.txt:** Sperre heißt laut OpenAI: Inhalte nicht für das Training nutzen
- **IP-Liste:** [openai.com/gptbot.json](https://openai.com/gptbot.json)
- **Doku:** [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots)

Stand: 8. Oktober 2026

## KI-Bots im Vergleich

| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Google | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.com/gptbot.json) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.com/searchbot.json) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.com/chatgpt-user.json) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.com/perplexitybot.json) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.commoncrawl.org/ccbot.json) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |

Quellen: [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots); [Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07)](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler); [Perplexity: Perplexity Crawlers](https://docs.perplexity.ai/guides/bots); [Google: Google's common crawlers (last updated 2026-07-14)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers); [Google: Overview of Google crawlers and fetchers (last updated 2026-06-12)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers); [Google: Verifying Google crawlers and fetchers (IP range files)](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests); [Apple: About Applebot (2026-09-04)](https://support.apple.com/en-us/119829); [Meta: Meta Web Crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/); [Common Crawl: CCBot](https://commoncrawl.org/ccbot). Stand: 8. Oktober 2026

## KI-Bots: Crawler, Tokens und Steuerung

- **September 2022:** Die IETF veröffentlicht das Robots Exclusion Protocol als RFC 9309 im Standards Track. Es legt fest, wie Crawler die Regeln einer robots.txt auslegen. ([Quelle](https://www.rfc-editor.org/rfc/rfc9309.html))
- **2023:** OpenAI führt Crawler-Berechtigungen für KI ein. Website-Betreiber können damit angeben, ob ihre Inhalte für KI-Training genutzt werden dürfen. ([Quelle](https://openai.com/index/approach-to-data-and-ai/))
- **28. September 2023:** Google führt Google-Extended ein. Mit diesem Token in der robots.txt lässt sich steuern, ob Inhalte Bard und die generativen APIs von Vertex AI verbessern. ([Quelle](https://blog.google/technology/ai/an-update-on-web-publisher-controls/))
- **8. Februar 2024:** Nach der Umbenennung von Bard nennt die Google-Doku Gemini Apps als betroffenes Produkt von Google-Extended. ([Quelle](https://developers.google.com/search/updates#updated-the-description-of-the-google-extended-product-token_1))
- **10. Juni 2024:** Apple stellt die Foundation Models für Apple Intelligence vor. Website-Betreiber können der Nutzung ihrer Inhalte für das Training widersprechen, laut Apple-Doku über Applebot-Extended. ([Quelle](https://machinelearning.apple.com/research/introducing-apple-foundation-models))
- **3. Juli 2024:** Cloudflare bietet an, KI-Bots, Scraper und Crawler mit einem Klick zu blockieren. ([Quelle](https://blog.cloudflare.com/declaring-your-aindependence-block-ai-bots-scrapers-and-crawlers-with-a-single-click/))
- **25. Juli 2024:** Mit dem SearchGPT-Prototyp trennt OpenAI Suche und Training. Websites können in der Suche erscheinen, auch wenn sie das KI-Training ausschließen. ([Quelle](https://openai.com/index/searchgpt-prototype/))
- **20. August 2024:** Google ergänzt Google-CloudVertexBot in der Crawler-Liste. Er crawlt Websites auf Wunsch der Betreiber für Vertex-AI-Agenten. ([Quelle](https://developers.google.com/search/updates#introducing-the-google-cloudvertexbot-crawler))
- **25. April 2025:** Google präzisiert nach Rückmeldungen von Publishern die Beschreibung von Google-Extended. ([Quelle](https://developers.google.com/search/updates#updated-the-description-of-the-google-extended-product-token))
- **15. Mai 2025:** Cloudflare schlägt vor, dass Bots und Agenten ihre Anfragen kryptografisch signieren, auf Basis von HTTP Message Signatures (RFC 9421). ([Quelle](https://blog.cloudflare.com/web-bot-auth/))
- **1. Juli 2025:** Cloudflare ändert die Voreinstellung und blockiert KI-Crawler standardmäßig, sofern Betreiber nichts anderes festlegen. ([Quelle](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/))
- **1. Juli 2025:** Cloudflare startet Pay per Crawl als geschlossene Beta. Crawler zahlen pro Abruf oder erhalten den Statuscode 402 mit Preisangabe. ([Quelle](https://blog.cloudflare.com/introducing-pay-per-crawl/))

## Nicht verwechseln

- [OAI-SearchBot](https://seo-geo-glossary.com/de/glossar/oai-searchbot/index.md): findet Websites für die Suchergebnisse in ChatGPT. Wer dort erscheinen will, muss diesen Bot zulassen. Laut OpenAI sind die Einstellungen beider Bots unabhängig voneinander.

## Verwandte Begriffe

- [OAI-SearchBot](https://seo-geo-glossary.com/de/glossar/oai-searchbot/index.md)
- [ChatGPT-User](https://seo-geo-glossary.com/de/glossar/chatgpt-user/index.md)
- [KI-Crawler (AI Crawler)](https://seo-geo-glossary.com/de/glossar/ki-crawler/index.md)
- [robots.txt](https://seo-geo-glossary.com/de/glossar/robots-txt/index.md)
- [User-Agent](https://seo-geo-glossary.com/de/glossar/user-agent/index.md)
- [IP-Ranges der Crawler](https://seo-geo-glossary.com/de/glossar/ip-ranges-der-crawler/index.md)
- [Large Language Model (LLM)](https://seo-geo-glossary.com/de/glossar/large-language-model/index.md)

## Mehr dazu im searchVIU-Blog

- [AI Crawler & JavaScript Rendering](https://www.searchviu.com/de/ai-crawler-javascript-rendering/)

## Quellen

- [Overview of OpenAI Crawlers – OpenAI](https://developers.openai.com/api/docs/bots)
- [GPTBot IP-Bereiche (JSON) – OpenAI](https://openai.com/gptbot.json)
- [OpenAI's ChatGPT New Web Crawler – GPTBot – Search Engine Roundtable, 07.08.2023 (Zweitquelle für das Datum)](https://www.seroundtable.com/openais-chatgpt-web-crawler-gptbot-35835.html)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/gptbot/