ChatGPT-User ist ein User-Agent von OpenAI. ChatGPT und Custom GPTs rufen damit Webseiten ab, wenn Nutzer eine Frage stellen oder eine Aktion auslösen. Er crawlt das Web nicht automatisch, er wird durch eine Anfrage ausgelöst.
Auf einen Blick
- Betreiber
- OpenAI
- Zweck
- Abruf von Seiten auf Nutzeraktionen in ChatGPT und Custom GPTs
- robots.txt-Token
ChatGPT-User- Beachtet robots.txt
- robots.txt-Regeln gelten laut OpenAI möglicherweise nicht
- IP-Liste
- ja (JSON)
Stand:
Wofür nutzt OpenAI ChatGPT-User?
OpenAI betreibt mehrere Bots mit getrennten Aufgaben. GPTBot sammelt Inhalte für das Training von Modellen. OAI-SearchBot sorgt dafür, dass Websites in den Suchfunktionen von ChatGPT erscheinen. ChatGPT-User ruft Seiten ab, wenn Nutzer Fragen stellen oder mit externen Anwendungen interagieren.
OpenAI nennt als User-Agent-String Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot und veröffentlicht die zugehörigen IP-Adressen als JSON-Datei.
| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) | |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.) |
| ChatGPT-User (dieser Begriff) | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |
Auswahl von zehn KI-Bots großer Anbieter, keine vollständige Liste. Alle Werte stammen aus der Dokumentation des jeweiligen Betreibers (Stand 8. Oktober 2026). Ob ein Bot sich tatsächlich an die robots.txt hält, sagt die Tabelle nicht; sie gibt nur die Angaben der Betreiber wieder. Ein User-Agent lässt sich fälschen, echte Zugriffe erkennt man über die veröffentlichten IP-Listen oder Reverse-DNS. Quellen: OpenAI: Overview of OpenAI Crawlers; Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07); Perplexity: Perplexity Crawlers; Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google: Verifying Google crawlers and fetchers (IP range files); Apple: About Applebot (2026-09-04); Meta: Meta Web Crawlers; Common Crawl: CCBot. Stand: .
Gilt die robots.txt für ChatGPT-User?
OpenAI schreibt in der Dokumentation, die Aktionen gingen von Nutzern aus, daher könnten robots.txt-Regeln nicht gelten. Eine Regel für ChatGPT-User ist damit kein verlässlicher Schutz. Wer Zugriffe verhindern möchte, kann zusätzlich serverseitig filtern, etwa anhand der veröffentlichten IP-Bereiche (Einschätzung).
Beispiel
Eine Anfrage im Server-Log:
203.0.113.7 - - [06/Oct/2026:09:12:44 +0000] "GET /preise/ HTTP/1.1" 200 18342 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"
Die IP-Adresse stammt aus einem Dokumentationsbereich und dient nur als Platzhalter.
Häufige Fehler
- Die robots.txt als Schutz verstehen. Laut OpenAI können robots.txt-Regeln für ChatGPT-User entfallen, weil die Aktionen von Nutzern ausgehen.
- ChatGPT-User sperren, um aus der ChatGPT-Suche zu verschwinden. OpenAI schreibt, ChatGPT-User bestimme nicht, ob Inhalte in der Suche erscheinen. Dafür ist OAI-SearchBot zuständig.
Häufige Fragen
Ist ChatGPT-User ein Crawler? Er durchsucht das Web nicht selbstständig. Er ruft Seiten ab, wenn eine Person in ChatGPT eine passende Frage gestellt hat.
Wie unterscheidet sich ChatGPT-User von GPTBot? GPTBot sammelt Trainingsdaten. ChatGPT-User bedient eine einzelne Nutzeranfrage.
Quellen
- OpenAI Crawlers (Bots-Übersicht) – OpenAI Developersdevelopers.openai.com
- ChatGPT-User und GPTBot – OpenAI Developersdevelopers.openai.com
Stand: