# ClaudeBot

Kategorie: [KI-Bots & Crawler](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/) › [Bots von OpenAI, Anthropic & Perplexity](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/openai-anthropic-perplexity/)

**ClaudeBot** ist der Web-Crawler von Anthropic, dem Unternehmen hinter dem KI-Assistenten Claude. Er sammelt öffentlich zugängliche Webinhalte, die laut Anthropic zum Training der Claude-Modelle beitragen können. In Server-Logs erscheint er mit dem User-Agent-Token `ClaudeBot`.

## Wofür nutzt Anthropic ClaudeBot?

Anthropic betreibt drei Bots mit getrennten Aufgaben. **ClaudeBot** sammelt Inhalte, die in das Training künftiger Modelle einfließen können. **Claude-User** ruft Seiten ab, wenn Nutzer Claude eine Frage stellen und Claude dafür eine Website liest. **Claude-SearchBot** durchsucht das Web, um die Qualität von Suchergebnissen für Nutzer zu verbessern.

Die Trennung ist für Website-Betreiber wichtig. Wer ClaudeBot sperrt, signalisiert laut Anthropic, dass künftige Inhalte der Website aus den Trainingsdaten ausgeschlossen werden sollen. Auf den Abruf durch Claude-User oder Claude-SearchBot wirkt sich das nicht aus. Diese Bots werden jeweils mit eigenem User-Agent gesteuert.

## Wie lässt sich ClaudeBot steuern?

Anthropic gibt an, Anweisungen in der robots.txt zu beachten. Zusätzlich unterstützt ClaudeBot die nicht standardisierte Erweiterung `Crawl-delay`, mit der sich die Abrufrate begrenzen lässt.

Ob ein Zugriff wirklich von Anthropic stammt, lässt sich über die Quell-IP prüfen. Anthropic veröffentlicht die IP-Bereiche seiner Crawler als JSON-Datei. Das ist relevant, weil Angreifer den User-Agent fremder Bots kopieren können. Anthropic rät davon ab, seine Crawler per IP-Sperre auszuschließen, weil sie dann auch die robots.txt nicht mehr lesen können.

## Beispiel

Diese robots.txt schließt ClaudeBot von der ganzen Website aus und erlaubt Claude-User weiterhin den Abruf:

```robots
User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Allow: /
```

Wer ClaudeBot nur bremsen möchte, setzt stattdessen eine Verzögerung in Sekunden:

```robots
User-agent: ClaudeBot
Crawl-delay: 1
```

## Häufige Fehler

- **Nur die Hauptdomain sperren.** Laut Anthropic muss die Regel in der robots.txt jeder Subdomain stehen, die ausgeschlossen werden soll.
- **ClaudeBot per IP-Sperre aussperren.** Anthropic weist darauf hin, dass der Bot dann die robots.txt nicht lesen kann und der Ausschluss nicht zuverlässig wirkt.
- **ClaudeBot mit allen Anthropic-Bots gleichsetzen.** Die Sperre betrifft das Training. Claude-User und Claude-SearchBot haben eigene Tokens und brauchen eigene Regeln.
- **Dem User-Agent allein vertrauen.** Der Wert lässt sich fälschen. Ob ein Zugriff von Anthropic stammt, zeigt der Abgleich der Quell-IP mit der veröffentlichten Liste.

## Häufige Fragen

**Sollte ich ClaudeBot blockieren?**
Das hängt davon ab, ob die eigenen Inhalte in das Training von KI-Modellen einfließen sollen. Die Sperre betrifft laut Anthropic das Training. Wer in Antworten von Claude als Quelle auftauchen möchte, sollte Claude-User und Claude-SearchBot getrennt betrachten und nicht pauschal alle Anthropic-Bots aussperren.

**Wie erkenne ich ClaudeBot in meinen Logfiles?**
Am Token `ClaudeBot` im User-Agent. Da sich dieser Wert fälschen lässt, gehört der Abgleich der Quell-IP mit der veröffentlichten Liste von Anthropic dazu.

## Auf einen Blick

- **Betreiber:** Anthropic
- **Zweck:** Training (Inhalte, die zum Training der Modelle beitragen können)
- **robots.txt-Token:** ClaudeBot
- **Beachtet robots.txt:** ja, laut Anthropic; auch Crawl-delay
- **IP-Liste:** [claude.com/crawling/bots.json](https://claude.com/crawling/bots.json)
- **Doku:** [Anthropic: Does Anthropic crawl data from the web …](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)

Stand: 8. Oktober 2026

## KI-Bots im Vergleich

| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Google | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.com/gptbot.json) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.com/searchbot.json) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.com/chatgpt-user.json) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.com/perplexitybot.json) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.commoncrawl.org/ccbot.json) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |

Quellen: [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots); [Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07)](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler); [Perplexity: Perplexity Crawlers](https://docs.perplexity.ai/guides/bots); [Google: Google's common crawlers (last updated 2026-07-14)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers); [Google: Overview of Google crawlers and fetchers (last updated 2026-06-12)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers); [Google: Verifying Google crawlers and fetchers (IP range files)](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests); [Apple: About Applebot (2026-09-04)](https://support.apple.com/en-us/119829); [Meta: Meta Web Crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/); [Common Crawl: CCBot](https://commoncrawl.org/ccbot). Stand: 8. Oktober 2026

## KI-Bots: Crawler, Tokens und Steuerung

- **September 2022:** Die IETF veröffentlicht das Robots Exclusion Protocol als RFC 9309 im Standards Track. Es legt fest, wie Crawler die Regeln einer robots.txt auslegen. ([Quelle](https://www.rfc-editor.org/rfc/rfc9309.html))
- **2023:** OpenAI führt Crawler-Berechtigungen für KI ein. Website-Betreiber können damit angeben, ob ihre Inhalte für KI-Training genutzt werden dürfen. ([Quelle](https://openai.com/index/approach-to-data-and-ai/))
- **28. September 2023:** Google führt Google-Extended ein. Mit diesem Token in der robots.txt lässt sich steuern, ob Inhalte Bard und die generativen APIs von Vertex AI verbessern. ([Quelle](https://blog.google/technology/ai/an-update-on-web-publisher-controls/))
- **8. Februar 2024:** Nach der Umbenennung von Bard nennt die Google-Doku Gemini Apps als betroffenes Produkt von Google-Extended. ([Quelle](https://developers.google.com/search/updates#updated-the-description-of-the-google-extended-product-token_1))
- **10. Juni 2024:** Apple stellt die Foundation Models für Apple Intelligence vor. Website-Betreiber können der Nutzung ihrer Inhalte für das Training widersprechen, laut Apple-Doku über Applebot-Extended. ([Quelle](https://machinelearning.apple.com/research/introducing-apple-foundation-models))
- **3. Juli 2024:** Cloudflare bietet an, KI-Bots, Scraper und Crawler mit einem Klick zu blockieren. ([Quelle](https://blog.cloudflare.com/declaring-your-aindependence-block-ai-bots-scrapers-and-crawlers-with-a-single-click/))
- **25. Juli 2024:** Mit dem SearchGPT-Prototyp trennt OpenAI Suche und Training. Websites können in der Suche erscheinen, auch wenn sie das KI-Training ausschließen. ([Quelle](https://openai.com/index/searchgpt-prototype/))
- **20. August 2024:** Google ergänzt Google-CloudVertexBot in der Crawler-Liste. Er crawlt Websites auf Wunsch der Betreiber für Vertex-AI-Agenten. ([Quelle](https://developers.google.com/search/updates#introducing-the-google-cloudvertexbot-crawler))
- **25. April 2025:** Google präzisiert nach Rückmeldungen von Publishern die Beschreibung von Google-Extended. ([Quelle](https://developers.google.com/search/updates#updated-the-description-of-the-google-extended-product-token))
- **15. Mai 2025:** Cloudflare schlägt vor, dass Bots und Agenten ihre Anfragen kryptografisch signieren, auf Basis von HTTP Message Signatures (RFC 9421). ([Quelle](https://blog.cloudflare.com/web-bot-auth/))
- **1. Juli 2025:** Cloudflare ändert die Voreinstellung und blockiert KI-Crawler standardmäßig, sofern Betreiber nichts anderes festlegen. ([Quelle](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/))
- **1. Juli 2025:** Cloudflare startet Pay per Crawl als geschlossene Beta. Crawler zahlen pro Abruf oder erhalten den Statuscode 402 mit Preisangabe. ([Quelle](https://blog.cloudflare.com/introducing-pay-per-crawl/))

## Nicht verwechseln

- [Claude-User](https://seo-geo-glossary.com/de/glossar/claude-user/index.md): ruft Websites ab, wenn Nutzer Claude eine Frage stellen und Claude dafür eine Seite liest. Eine Sperre verhindert laut Anthropic, dass Claude Inhalte für solche Nutzeranfragen abruft.

## Verwandte Begriffe

- [Claude-User](https://seo-geo-glossary.com/de/glossar/claude-user/index.md)
- [Claude-SearchBot](https://seo-geo-glossary.com/de/glossar/claude-searchbot/index.md)
- [KI-Crawler (AI Crawler)](https://seo-geo-glossary.com/de/glossar/ki-crawler/index.md)

## Mehr dazu im searchVIU-Blog

- [AI Crawler & JavaScript Rendering](https://www.searchviu.com/de/ai-crawler-javascript-rendering/)

## Quellen

- [Does Anthropic crawl data from the web, and how can site owners block the crawler? – Anthropic Help Center (Stand 7. April 2026)](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [IP-Bereiche der Anthropic-Crawler (bots.json)](https://claude.com/crawling/bots.json)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/claudebot/