# OAI-SearchBot

Kategorie: [KI-Bots & Crawler](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/) › [Bots von OpenAI, Anthropic & Perplexity](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/openai-anthropic-perplexity/) · Auch genannt: OAI SearchBot

**OAI-SearchBot** ist ein Crawler von OpenAI. Laut OpenAI dient er dazu, Websites in den Suchergebnissen der Suchfunktionen von ChatGPT anzuzeigen. Er ruft also Seiten ab, damit ChatGPT bei Antworten mit Websuche auf sie verweisen kann.

## Steuerung per robots.txt

OAI-SearchBot hält sich an die robots.txt und lässt sich über seinen eigenen User-Agent-Token ansprechen. OpenAI betont, dass die Einstellungen für seine Bots unabhängig voneinander sind. Eine Website kann OAI-SearchBot erlauben und gleichzeitig GPTBot aussperren, der Inhalte für das Training von Modellen sammelt:

```robots
User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /
```

Sperrt eine Website OAI-SearchBot aus, erscheint sie laut OpenAI nicht mehr in ChatGPT-Suchantworten, kann aber weiterhin als Navigationslink auftauchen. Änderungen an der robots.txt greifen nach Angabe von OpenAI nach etwa 24 Stunden.

## Abgrenzung zu anderen OpenAI-Bots

OpenAI betreibt mehrere Bots mit unterschiedlichen Aufgaben. Für OAI-SearchBot sind zwei Abgrenzungen wichtig:

- **GPTBot** sammelt Inhalte, die für das Training von OpenAIs Basismodellen genutzt werden können. Eine Sperre bedeutet laut OpenAI, dass die Inhalte nicht ins Training einfließen sollen. Auf die ChatGPT-Suche wirkt sie sich nicht aus.
- **ChatGPT-User** ruft Seiten ab, wenn ein Mensch in ChatGPT eine Aktion auslöst. OpenAI schreibt, dass robots.txt-Regeln dabei möglicherweise nicht greifen, und verweist für die Steuerung der Suche ausdrücklich auf OAI-SearchBot.

## Erkennen und verifizieren

Im Logfile steht der Bot mit einem User-Agent wie diesem (Stand Oktober 2026):

```txt
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
```

Ein User-Agent lässt sich vortäuschen. Zur Prüfung veröffentlicht OpenAI die IP-Bereiche des Bots in der Datei `searchbot.json`. Wer prüfen will, ob ein Abruf echt ist, gleicht die IP-Adresse aus dem Logfile damit ab.

## Häufige Fehler

Eine pauschale Firewall- oder CDN-Regel gegen „KI-Bots“ kann laut Berichten alle OpenAI-Crawler zugleich treffen. Dann fehlt die Website auch in der ChatGPT-Suche, obwohl die robots.txt den Zugriff erlaubt. Prüfen lässt sich das in den Server-Logs. Bekommen Abrufe von den veröffentlichten IP-Adressen nur Statuscodes wie 403, deutet das auf eine Sperre hin.

## Häufige Fragen

**Wird OAI-SearchBot für das Training von KI-Modellen genutzt?**
OpenAI beschreibt OAI-SearchBot nur im Zusammenhang mit der Suche. Für das Training nennt OpenAI GPTBot. Wer das Training ausschließen will, sperrt GPTBot.

**Soll ich OAI-SearchBot in der robots.txt erlauben?**
Wer in der ChatGPT-Suche erscheinen will, sollte ihn laut OpenAI erlauben und Anfragen aus den veröffentlichten IP-Bereichen zulassen. Eine Sperre führt dazu, dass die Website nicht in ChatGPT-Suchantworten erscheint.

**Wie schnell wirkt eine Änderung an der robots.txt?**
Laut OpenAI dauert es etwa 24 Stunden, bis die Systeme eine geänderte robots.txt berücksichtigen.

## Auf einen Blick

- **Betreiber:** OpenAI
- **Zweck:** Websites in den Suchfunktionen von ChatGPT anzeigen
- **robots.txt-Token:** OAI-SearchBot
- **Beachtet robots.txt:** ja, gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten
- **IP-Liste:** [openai.com/searchbot.json](https://openai.com/searchbot.json)
- **Doku:** [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots)

Stand: 8. Oktober 2026

## KI-Bots im Vergleich

| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Google | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.com/gptbot.json) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.com/searchbot.json) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.com/chatgpt-user.json) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.com/perplexitybot.json) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.commoncrawl.org/ccbot.json) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |

Quellen: [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots); [Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07)](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler); [Perplexity: Perplexity Crawlers](https://docs.perplexity.ai/guides/bots); [Google: Google's common crawlers (last updated 2026-07-14)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers); [Google: Overview of Google crawlers and fetchers (last updated 2026-06-12)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers); [Google: Verifying Google crawlers and fetchers (IP range files)](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests); [Apple: About Applebot (2026-09-04)](https://support.apple.com/en-us/119829); [Meta: Meta Web Crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/); [Common Crawl: CCBot](https://commoncrawl.org/ccbot). Stand: 8. Oktober 2026

## KI-Bots: Crawler, Tokens und Steuerung

- **September 2022:** Die IETF veröffentlicht das Robots Exclusion Protocol als RFC 9309 im Standards Track. Es legt fest, wie Crawler die Regeln einer robots.txt auslegen. ([Quelle](https://www.rfc-editor.org/rfc/rfc9309.html))
- **2023:** OpenAI führt Crawler-Berechtigungen für KI ein. Website-Betreiber können damit angeben, ob ihre Inhalte für KI-Training genutzt werden dürfen. ([Quelle](https://openai.com/index/approach-to-data-and-ai/))
- **28. September 2023:** Google führt Google-Extended ein. Mit diesem Token in der robots.txt lässt sich steuern, ob Inhalte Bard und die generativen APIs von Vertex AI verbessern. ([Quelle](https://blog.google/technology/ai/an-update-on-web-publisher-controls/))
- **8. Februar 2024:** Nach der Umbenennung von Bard nennt die Google-Doku Gemini Apps als betroffenes Produkt von Google-Extended. ([Quelle](https://developers.google.com/search/updates#updated-the-description-of-the-google-extended-product-token_1))
- **10. Juni 2024:** Apple stellt die Foundation Models für Apple Intelligence vor. Website-Betreiber können der Nutzung ihrer Inhalte für das Training widersprechen, laut Apple-Doku über Applebot-Extended. ([Quelle](https://machinelearning.apple.com/research/introducing-apple-foundation-models))
- **3. Juli 2024:** Cloudflare bietet an, KI-Bots, Scraper und Crawler mit einem Klick zu blockieren. ([Quelle](https://blog.cloudflare.com/declaring-your-aindependence-block-ai-bots-scrapers-and-crawlers-with-a-single-click/))
- **25. Juli 2024:** Mit dem SearchGPT-Prototyp trennt OpenAI Suche und Training. Websites können in der Suche erscheinen, auch wenn sie das KI-Training ausschließen. ([Quelle](https://openai.com/index/searchgpt-prototype/))
- **20. August 2024:** Google ergänzt Google-CloudVertexBot in der Crawler-Liste. Er crawlt Websites auf Wunsch der Betreiber für Vertex-AI-Agenten. ([Quelle](https://developers.google.com/search/updates#introducing-the-google-cloudvertexbot-crawler))
- **25. April 2025:** Google präzisiert nach Rückmeldungen von Publishern die Beschreibung von Google-Extended. ([Quelle](https://developers.google.com/search/updates#updated-the-description-of-the-google-extended-product-token))
- **15. Mai 2025:** Cloudflare schlägt vor, dass Bots und Agenten ihre Anfragen kryptografisch signieren, auf Basis von HTTP Message Signatures (RFC 9421). ([Quelle](https://blog.cloudflare.com/web-bot-auth/))
- **1. Juli 2025:** Cloudflare ändert die Voreinstellung und blockiert KI-Crawler standardmäßig, sofern Betreiber nichts anderes festlegen. ([Quelle](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/))
- **1. Juli 2025:** Cloudflare startet Pay per Crawl als geschlossene Beta. Crawler zahlen pro Abruf oder erhalten den Statuscode 402 mit Preisangabe. ([Quelle](https://blog.cloudflare.com/introducing-pay-per-crawl/))

## Nicht verwechseln

- [GPTBot](https://seo-geo-glossary.com/de/glossar/gptbot/index.md): sammelt Inhalte, die für das Training der Basismodelle von OpenAI genutzt werden können. Eine Sperre von GPTBot wirkt sich laut OpenAI nicht auf die ChatGPT-Suche aus.

## Verwandte Begriffe

- [Claude-SearchBot](https://seo-geo-glossary.com/de/glossar/claude-searchbot/index.md)

## Quellen

- [Overview of OpenAI Crawlers – OpenAI (abgerufen 2026-10-06)](https://developers.openai.com/api/docs/bots)
- [IP-Bereiche OAI-SearchBot – OpenAI](https://openai.com/searchbot.json)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/oai-searchbot/