# KI-Such-Crawler

Kategorie: [KI-Bots & Crawler](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/) › [Arten von KI-Bots](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/arten-von-ki-bots/)

Ein **KI-Such-Crawler** ist ein Crawler, der Webseiten für die Suchfunktion eines KI-Dienstes abruft. Er dient nach Angabe der Betreiber dem Auffinden und Verlinken von Seiten in KI-Antworten und nicht dem Training von Modellen.

## Welche KI-Such-Crawler gibt es?

OpenAI beschreibt OAI-SearchBot als Bot, der Websites in den Suchergebnissen von ChatGPT erscheinen lässt. Er wird laut OpenAI nicht für das Training genutzt. Bei Perplexity übernimmt PerplexityBot diese Aufgabe und wird nach Angaben des Unternehmens nicht für das Crawlen von Inhalten für Foundation-Modelle verwendet. Anthropic führt Claude-SearchBot auf, der die Qualität von Suchergebnissen verbessern soll.

Alle drei beachten laut ihren Betreibern die robots.txt. Eine Seite, die OAI-SearchBot ausschließt, taucht nach Angabe von OpenAI nicht in den Suchantworten von ChatGPT auf. Die Änderung wird dort nach etwa 24 Stunden wirksam.

## Wie unterscheidet er sich von anderen KI-Bots?

Trainings-Crawler sammeln Inhalte für Modelle, nutzerausgelöste Abrufe öffnen eine einzelne Seite, weil jemand danach fragt. Der Such-Crawler ruft Seiten nach Angabe der Betreiber ab, damit der Dienst sie in Suchantworten nennen und verlinken kann.

## Beispiel

```robots
User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /
```

Die Website ist so für die ChatGPT-Suche zugänglich und für das Training gesperrt.

## Auf einen Blick

- **Art:** Sammelbegriff für Crawler (keine offizielle Kategorie)
- **Wirkt auf:** Suchfunktion eines KI-Dienstes
- **Werte:** OAI-SearchBot, Claude-SearchBot, PerplexityBot
- **Doku:** [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots)

Stand: 8. Oktober 2026

## KI-Bots im Vergleich

| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Google | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.com/gptbot.json) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.com/searchbot.json) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.com/chatgpt-user.json) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.com/perplexitybot.json) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.commoncrawl.org/ccbot.json) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |

Quellen: [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots); [Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07)](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler); [Perplexity: Perplexity Crawlers](https://docs.perplexity.ai/guides/bots); [Google: Google's common crawlers (last updated 2026-07-14)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers); [Google: Overview of Google crawlers and fetchers (last updated 2026-06-12)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers); [Google: Verifying Google crawlers and fetchers (IP range files)](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests); [Apple: About Applebot (2026-09-04)](https://support.apple.com/en-us/119829); [Meta: Meta Web Crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/); [Common Crawl: CCBot](https://commoncrawl.org/ccbot). Stand: 8. Oktober 2026

## Verwandte Begriffe

- [KI-Crawler (AI Crawler)](https://seo-geo-glossary.com/de/glossar/ki-crawler/index.md)
- [Trainings-Crawler](https://seo-geo-glossary.com/de/glossar/trainings-crawler/index.md)
- [User-triggered Fetcher (nutzerausgelöster Abruf)](https://seo-geo-glossary.com/de/glossar/user-triggered-fetcher/index.md)
- [robots.txt](https://seo-geo-glossary.com/de/glossar/robots-txt/index.md)

## Quellen

- [Overview of OpenAI Crawlers (OAI-SearchBot) – OpenAI](https://developers.openai.com/api/docs/bots)
- [Does Anthropic crawl data from the web, and how can site owners block the crawler? (Claude-SearchBot) – Claude Help Center](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [Perplexity Crawlers (PerplexityBot) – Perplexity Docs](https://docs.perplexity.ai/docs/resources/perplexity-crawlers)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/ki-such-crawler/