# KI-Crawler (AI Crawler)

Kategorie: [KI-Bots & Crawler](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/) › [Arten von KI-Bots](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/arten-von-ki-bots/) · Auch genannt: AI Crawler, KI-Bot

Ein **KI-Crawler** (englisch AI Crawler) ist ein automatisiertes Programm, das Webseiten für KI-Anwendungen abruft. Betreiber wie OpenAI, Anthropic oder Perplexity nutzen solche Crawler, um Trainingsdaten für Sprachmodelle zu sammeln, einen eigenen Suchindex für KI-Antworten aufzubauen oder Seiten im Auftrag eines Nutzers zu öffnen.

## Welche Arten von KI-Crawlern gibt es?

Die großen Anbieter trennen ihre Bots inzwischen nach Zweck. Jeder hat einen eigenen User-Agent und lässt sich einzeln steuern.

- **Training:** sammelt Inhalte für künftige Modelle. Beispiel: GPTBot von OpenAI, ClaudeBot von Anthropic.
- **Suche:** baut einen Index auf, aus dem KI-Antworten mit Quellenlinks entstehen. Beispiel: OAI-SearchBot, Claude-SearchBot.
- **Nutzerabruf:** öffnet eine Seite, weil ein Mensch im Chat danach fragt. Beispiel: ChatGPT-User, Claude-User.

Laut OpenAI sind die Einstellungen unabhängig voneinander. Eine Website kann also OAI-SearchBot erlauben und GPTBot sperren. Bei ChatGPT-User weist OpenAI darauf hin, dass robots.txt-Regeln möglicherweise nicht gelten, weil der Abruf von einer Nutzeraktion ausgelöst wird.

Google geht einen anderen Weg. **Google-Extended** ist ein Token in der robots.txt ohne eigenen User-Agent, gecrawlt wird mit den bestehenden Google-Crawlern. Über das Token legen Websites fest, ob von Google gecrawlte Inhalte für das Training von Gemini-Modellen und für die Fundierung von Antworten genutzt werden dürfen. Auf die Aufnahme in die Google Suche und das Ranking hat es laut Google keinen Einfluss.

## Beispiel

Eine Website möchte in KI-Suchen von OpenAI erscheinen, ihre Texte aber nicht für das Modelltraining freigeben:

```robots
User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
```

## Was bei KI-Crawlern zu beachten ist

Die robots.txt ist eine Bitte an Crawler und kein Zugriffsschutz. Anthropic gibt an, dass seine Bots die robots.txt beachten. OpenAI dokumentiert für GPTBot und OAI-SearchBot eigene Tokens, über die Websites per robots.txt steuern, wie ihre Inhalte genutzt werden. Den User-Agent kann allerdings jedes Programm frei angeben. Ob ein Zugriff wirklich von OpenAI stammt, zeigt erst der Abgleich mit den IP-Bereichen, die OpenAI veröffentlicht. Welche KI-Crawler eine Website tatsächlich besuchen, wie oft und welche Seiten, lässt sich nur in den Server-Logfiles ablesen.

## Häufige Fehler

- **Training und Suche gleich behandeln.** Laut OpenAI sind die Einstellungen der Bots unabhängig voneinander. Wer OAI-SearchBot sperrt, erscheint laut OpenAI nicht in den Suchantworten von ChatGPT, auch wenn GPTBot erlaubt ist.
- **Von Nutzerabrufen erwarten, dass sie die robots.txt befolgen.** Für ChatGPT-User gelten laut OpenAI robots.txt-Regeln möglicherweise nicht, Perplexity-User ignoriert sie laut Perplexity in der Regel.
- **Googlebot sperren, um KI-Training zu verhindern.** Dafür ist das Token Google-Extended gedacht. Eine Sperre des Googlebot entfernt die Website aus der Google Suche.
- **Per IP-Sperre statt per robots.txt aussperren.** Anthropic weist darauf hin, dass seine Bots die robots.txt dann nicht lesen können und der Ausschluss nicht zuverlässig wirkt.

## Häufige Fragen

**Schadet es dem Google-Ranking, KI-Crawler zu sperren?**
Für Google-Extended sagt Google ausdrücklich, dass das Token weder die Aufnahme in die Google Suche noch das Ranking beeinflusst. Wer dagegen den Googlebot sperrt, verschwindet aus der Google Suche und damit auch aus AI Overviews und dem KI-Modus.

## Auf einen Blick

- **Betreiber:** KI-Anbieter, z. B. OpenAI, Anthropic, Perplexity, Google
- **Zweck:** Training, Suche oder Abruf im Auftrag eines Nutzers
- **robots.txt-Token:** je Bot eigenes Token, z. B. GPTBot, ClaudeBot, Google-Extended
- **Beachtet robots.txt:** je nach Betreiber; Nutzerabrufe beachten sie teils nicht
- **IP-Liste:** bei vielen Betreibern als JSON, z. B. openai.com/gptbot.json
- **Doku:** [Betreiber-Dokus, z. B. OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots)

Stand: 8. Oktober 2026

## KI-Bots im Vergleich

| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Google | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.com/gptbot.json) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.com/searchbot.json) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.com/chatgpt-user.json) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.com/perplexitybot.json) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.commoncrawl.org/ccbot.json) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |

Quellen: [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots); [Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07)](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler); [Perplexity: Perplexity Crawlers](https://docs.perplexity.ai/guides/bots); [Google: Google's common crawlers (last updated 2026-07-14)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers); [Google: Overview of Google crawlers and fetchers (last updated 2026-06-12)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers); [Google: Verifying Google crawlers and fetchers (IP range files)](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests); [Apple: About Applebot (2026-09-04)](https://support.apple.com/en-us/119829); [Meta: Meta Web Crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/); [Common Crawl: CCBot](https://commoncrawl.org/ccbot). Stand: 8. Oktober 2026

## KI-Bots: Crawler, Tokens und Steuerung

- **September 2022:** Die IETF veröffentlicht das Robots Exclusion Protocol als RFC 9309 im Standards Track. Es legt fest, wie Crawler die Regeln einer robots.txt auslegen. ([Quelle](https://www.rfc-editor.org/rfc/rfc9309.html))
- **2023:** OpenAI führt Crawler-Berechtigungen für KI ein. Website-Betreiber können damit angeben, ob ihre Inhalte für KI-Training genutzt werden dürfen. ([Quelle](https://openai.com/index/approach-to-data-and-ai/))
- **28. September 2023:** Google führt Google-Extended ein. Mit diesem Token in der robots.txt lässt sich steuern, ob Inhalte Bard und die generativen APIs von Vertex AI verbessern. ([Quelle](https://blog.google/technology/ai/an-update-on-web-publisher-controls/))
- **8. Februar 2024:** Nach der Umbenennung von Bard nennt die Google-Doku Gemini Apps als betroffenes Produkt von Google-Extended. ([Quelle](https://developers.google.com/search/updates#updated-the-description-of-the-google-extended-product-token_1))
- **10. Juni 2024:** Apple stellt die Foundation Models für Apple Intelligence vor. Website-Betreiber können der Nutzung ihrer Inhalte für das Training widersprechen, laut Apple-Doku über Applebot-Extended. ([Quelle](https://machinelearning.apple.com/research/introducing-apple-foundation-models))
- **3. Juli 2024:** Cloudflare bietet an, KI-Bots, Scraper und Crawler mit einem Klick zu blockieren. ([Quelle](https://blog.cloudflare.com/declaring-your-aindependence-block-ai-bots-scrapers-and-crawlers-with-a-single-click/))
- **25. Juli 2024:** Mit dem SearchGPT-Prototyp trennt OpenAI Suche und Training. Websites können in der Suche erscheinen, auch wenn sie das KI-Training ausschließen. ([Quelle](https://openai.com/index/searchgpt-prototype/))
- **20. August 2024:** Google ergänzt Google-CloudVertexBot in der Crawler-Liste. Er crawlt Websites auf Wunsch der Betreiber für Vertex-AI-Agenten. ([Quelle](https://developers.google.com/search/updates#introducing-the-google-cloudvertexbot-crawler))
- **25. April 2025:** Google präzisiert nach Rückmeldungen von Publishern die Beschreibung von Google-Extended. ([Quelle](https://developers.google.com/search/updates#updated-the-description-of-the-google-extended-product-token))
- **15. Mai 2025:** Cloudflare schlägt vor, dass Bots und Agenten ihre Anfragen kryptografisch signieren, auf Basis von HTTP Message Signatures (RFC 9421). ([Quelle](https://blog.cloudflare.com/web-bot-auth/))
- **1. Juli 2025:** Cloudflare ändert die Voreinstellung und blockiert KI-Crawler standardmäßig, sofern Betreiber nichts anderes festlegen. ([Quelle](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/))
- **1. Juli 2025:** Cloudflare startet Pay per Crawl als geschlossene Beta. Crawler zahlen pro Abruf oder erhalten den Statuscode 402 mit Preisangabe. ([Quelle](https://blog.cloudflare.com/introducing-pay-per-crawl/))

## Verwandte Begriffe

- [Trainings-Crawler](https://seo-geo-glossary.com/de/glossar/trainings-crawler/index.md)
- [KI-Such-Crawler](https://seo-geo-glossary.com/de/glossar/ki-such-crawler/index.md)
- [Crawler](https://seo-geo-glossary.com/de/glossar/crawler/index.md)

## Mehr dazu im searchVIU-Blog

- [AI Crawler & JavaScript Rendering](https://www.searchviu.com/de/ai-crawler-javascript-rendering/)

## Quellen

- [Overview of OpenAI Crawlers – OpenAI](https://developers.openai.com/api/docs/bots)
- [Does Anthropic crawl data from the web, and how can site owners block the crawler? – Claude Help Center](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [Übersicht über die gängigen Crawler von Google (Google-Extended) – Google Search Central](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers?hl=de)
- [Perplexity Crawlers – Perplexity Docs](https://docs.perplexity.ai/guides/bots)
- [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309)
- [KI-Funktionen und deine Website – Google Search Central](https://developers.google.com/search/docs/appearance/ai-features?hl=de)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/ki-crawler/