OAI-SearchBot ist ein Crawler von OpenAI. Laut OpenAI dient er dazu, Websites in den Suchergebnissen der Suchfunktionen von ChatGPT anzuzeigen. Er ruft also Seiten ab, damit ChatGPT bei Antworten mit Websuche auf sie verweisen kann.
Auf einen Blick
- Betreiber
- OpenAI
- Zweck
- Websites in den Suchfunktionen von ChatGPT anzeigen
- robots.txt-Token
OAI-SearchBot- Beachtet robots.txt
- ja, gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten
- IP-Liste
openai.com/searchbot.json
Stand:
Steuerung per robots.txt
OAI-SearchBot hält sich an die robots.txt und lässt sich über seinen eigenen User-Agent-Token ansprechen. OpenAI betont, dass die Einstellungen für seine Bots unabhängig voneinander sind. Eine Website kann OAI-SearchBot erlauben und gleichzeitig GPTBot aussperren, der Inhalte für das Training von Modellen sammelt:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
Sperrt eine Website OAI-SearchBot aus, erscheint sie laut OpenAI nicht mehr in ChatGPT-Suchantworten, kann aber weiterhin als Navigationslink auftauchen. Änderungen an der robots.txt greifen nach Angabe von OpenAI nach etwa 24 Stunden.
| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) | |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.) |
| OAI-SearchBot (dieser Begriff) | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |
Auswahl von zehn KI-Bots großer Anbieter, keine vollständige Liste. Alle Werte stammen aus der Dokumentation des jeweiligen Betreibers (Stand 8. Oktober 2026). Ob ein Bot sich tatsächlich an die robots.txt hält, sagt die Tabelle nicht; sie gibt nur die Angaben der Betreiber wieder. Ein User-Agent lässt sich fälschen, echte Zugriffe erkennt man über die veröffentlichten IP-Listen oder Reverse-DNS. Quellen: OpenAI: Overview of OpenAI Crawlers; Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07); Perplexity: Perplexity Crawlers; Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google: Verifying Google crawlers and fetchers (IP range files); Apple: About Applebot (2026-09-04); Meta: Meta Web Crawlers; Common Crawl: CCBot. Stand: .
Abgrenzung zu anderen OpenAI-Bots
OpenAI betreibt mehrere Bots mit unterschiedlichen Aufgaben. Für OAI-SearchBot sind zwei Abgrenzungen wichtig:
- GPTBot sammelt Inhalte, die für das Training von OpenAIs Basismodellen genutzt werden können. Eine Sperre bedeutet laut OpenAI, dass die Inhalte nicht ins Training einfließen sollen. Auf die ChatGPT-Suche wirkt sie sich nicht aus.
- ChatGPT-User ruft Seiten ab, wenn ein Mensch in ChatGPT eine Aktion auslöst. OpenAI schreibt, dass robots.txt-Regeln dabei möglicherweise nicht greifen, und verweist für die Steuerung der Suche ausdrücklich auf OAI-SearchBot.
Erkennen und verifizieren
Im Logfile steht der Bot mit einem User-Agent wie diesem (Stand Oktober 2026):
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
Ein User-Agent lässt sich vortäuschen. Zur Prüfung veröffentlicht OpenAI die IP-Bereiche des Bots in der Datei searchbot.json. Wer prüfen will, ob ein Abruf echt ist, gleicht die IP-Adresse aus dem Logfile damit ab.
- Die IETF veröffentlicht das Robots Exclusion Protocol als RFC 9309 im Standards Track. Es legt fest, wie Crawler die Regeln einer robots.txt auslegen.Quelle: rfc-editor.org
- OpenAI führt Crawler-Berechtigungen für KI ein. Website-Betreiber können damit angeben, ob ihre Inhalte für KI-Training genutzt werden dürfen.Quelle: openai.com
- Google führt Google-Extended ein. Mit diesem Token in der robots.txt lässt sich steuern, ob Inhalte Bard und die generativen APIs von Vertex AI verbessern.Quelle: blog.google
- Nach der Umbenennung von Bard nennt die Google-Doku Gemini Apps als betroffenes Produkt von Google-Extended.Quelle: developers.google.com
- Apple stellt die Foundation Models für Apple Intelligence vor. Website-Betreiber können der Nutzung ihrer Inhalte für das Training widersprechen, laut Apple-Doku über Applebot-Extended.Quelle: machinelearning.apple.com
- Cloudflare bietet an, KI-Bots, Scraper und Crawler mit einem Klick zu blockieren.Quelle: blog.cloudflare.com
- Mit dem SearchGPT-Prototyp trennt OpenAI Suche und Training. Websites können in der Suche erscheinen, auch wenn sie das KI-Training ausschließen.Quelle: openai.com
- Google ergänzt Google-CloudVertexBot in der Crawler-Liste. Er crawlt Websites auf Wunsch der Betreiber für Vertex-AI-Agenten.Quelle: developers.google.com
- Google präzisiert nach Rückmeldungen von Publishern die Beschreibung von Google-Extended.Quelle: developers.google.com
- Cloudflare schlägt vor, dass Bots und Agenten ihre Anfragen kryptografisch signieren, auf Basis von HTTP Message Signatures (RFC 9421).Quelle: blog.cloudflare.com
- Cloudflare ändert die Voreinstellung und blockiert KI-Crawler standardmäßig, sofern Betreiber nichts anderes festlegen.Quelle: blog.cloudflare.com
- Cloudflare startet Pay per Crawl als geschlossene Beta. Crawler zahlen pro Abruf oder erhalten den Statuscode 402 mit Preisangabe.Quelle: blog.cloudflare.com
OpenAI nennt für die Crawler-Berechtigungen nur „letzten Sommer“ (Beitrag vom 7. Mai 2024); das oft genannte Datum August 2023 für GPTBot stammt aus Presseberichten. Für ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, OAI-SearchBot, ChatGPT-User, Meta-ExternalAgent und CCBot gibt es Doku der Betreiber, aber kein belegtes Einführungsdatum. Stand: .
Häufige Fehler
Eine pauschale Firewall- oder CDN-Regel gegen „KI-Bots“ kann laut Berichten alle OpenAI-Crawler zugleich treffen. Dann fehlt die Website auch in der ChatGPT-Suche, obwohl die robots.txt den Zugriff erlaubt. Prüfen lässt sich das in den Server-Logs. Bekommen Abrufe von den veröffentlichten IP-Adressen nur Statuscodes wie 403, deutet das auf eine Sperre hin.
Häufige Fragen
Wird OAI-SearchBot für das Training von KI-Modellen genutzt? OpenAI beschreibt OAI-SearchBot nur im Zusammenhang mit der Suche. Für das Training nennt OpenAI GPTBot. Wer das Training ausschließen will, sperrt GPTBot.
Soll ich OAI-SearchBot in der robots.txt erlauben? Wer in der ChatGPT-Suche erscheinen will, sollte ihn laut OpenAI erlauben und Anfragen aus den veröffentlichten IP-Bereichen zulassen. Eine Sperre führt dazu, dass die Website nicht in ChatGPT-Suchantworten erscheint.
Wie schnell wirkt eine Änderung an der robots.txt? Laut OpenAI dauert es etwa 24 Stunden, bis die Systeme eine geänderte robots.txt berücksichtigen.
Quellen
- Overview of OpenAI Crawlers – OpenAI (abgerufen 2026-10-06)developers.openai.com
- IP-Bereiche OAI-SearchBot – OpenAIopenai.com
Stand: