ClaudeBot ist der Web-Crawler von Anthropic, dem Unternehmen hinter dem KI-Assistenten Claude. Er sammelt öffentlich zugängliche Webinhalte, die laut Anthropic zum Training der Claude-Modelle beitragen können. In Server-Logs erscheint er mit dem User-Agent-Token ClaudeBot.
Auf einen Blick
- Betreiber
- Anthropic
- Zweck
- Training (Inhalte, die zum Training der Modelle beitragen können)
- robots.txt-Token
ClaudeBot- Beachtet robots.txt
- ja, laut Anthropic; auch
Crawl-delay - IP-Liste
claude.com/crawling/bots.json
Stand:
Wofür nutzt Anthropic ClaudeBot?
Anthropic betreibt drei Bots mit getrennten Aufgaben. ClaudeBot sammelt Inhalte, die in das Training künftiger Modelle einfließen können. Claude-User ruft Seiten ab, wenn Nutzer Claude eine Frage stellen und Claude dafür eine Website liest. Claude-SearchBot durchsucht das Web, um die Qualität von Suchergebnissen für Nutzer zu verbessern.
Die Trennung ist für Website-Betreiber wichtig. Wer ClaudeBot sperrt, signalisiert laut Anthropic, dass künftige Inhalte der Website aus den Trainingsdaten ausgeschlossen werden sollen. Auf den Abruf durch Claude-User oder Claude-SearchBot wirkt sich das nicht aus. Diese Bots werden jeweils mit eigenem User-Agent gesteuert.
| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) | |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.) |
| ClaudeBot (dieser Begriff) | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |
Auswahl von zehn KI-Bots großer Anbieter, keine vollständige Liste. Alle Werte stammen aus der Dokumentation des jeweiligen Betreibers (Stand 8. Oktober 2026). Ob ein Bot sich tatsächlich an die robots.txt hält, sagt die Tabelle nicht; sie gibt nur die Angaben der Betreiber wieder. Ein User-Agent lässt sich fälschen, echte Zugriffe erkennt man über die veröffentlichten IP-Listen oder Reverse-DNS. Quellen: OpenAI: Overview of OpenAI Crawlers; Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07); Perplexity: Perplexity Crawlers; Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google: Verifying Google crawlers and fetchers (IP range files); Apple: About Applebot (2026-09-04); Meta: Meta Web Crawlers; Common Crawl: CCBot. Stand: .
Wie lässt sich ClaudeBot steuern?
Anthropic gibt an, Anweisungen in der robots.txt zu beachten. Zusätzlich unterstützt ClaudeBot die nicht standardisierte Erweiterung Crawl-delay, mit der sich die Abrufrate begrenzen lässt.
Ob ein Zugriff wirklich von Anthropic stammt, lässt sich über die Quell-IP prüfen. Anthropic veröffentlicht die IP-Bereiche seiner Crawler als JSON-Datei. Das ist relevant, weil Angreifer den User-Agent fremder Bots kopieren können. Anthropic rät davon ab, seine Crawler per IP-Sperre auszuschließen, weil sie dann auch die robots.txt nicht mehr lesen können.
- Die IETF veröffentlicht das Robots Exclusion Protocol als RFC 9309 im Standards Track. Es legt fest, wie Crawler die Regeln einer robots.txt auslegen.Quelle: rfc-editor.org
- OpenAI führt Crawler-Berechtigungen für KI ein. Website-Betreiber können damit angeben, ob ihre Inhalte für KI-Training genutzt werden dürfen.Quelle: openai.com
- Google führt Google-Extended ein. Mit diesem Token in der robots.txt lässt sich steuern, ob Inhalte Bard und die generativen APIs von Vertex AI verbessern.Quelle: blog.google
- Nach der Umbenennung von Bard nennt die Google-Doku Gemini Apps als betroffenes Produkt von Google-Extended.Quelle: developers.google.com
- Apple stellt die Foundation Models für Apple Intelligence vor. Website-Betreiber können der Nutzung ihrer Inhalte für das Training widersprechen, laut Apple-Doku über Applebot-Extended.Quelle: machinelearning.apple.com
- Cloudflare bietet an, KI-Bots, Scraper und Crawler mit einem Klick zu blockieren.Quelle: blog.cloudflare.com
- Mit dem SearchGPT-Prototyp trennt OpenAI Suche und Training. Websites können in der Suche erscheinen, auch wenn sie das KI-Training ausschließen.Quelle: openai.com
- Google ergänzt Google-CloudVertexBot in der Crawler-Liste. Er crawlt Websites auf Wunsch der Betreiber für Vertex-AI-Agenten.Quelle: developers.google.com
- Google präzisiert nach Rückmeldungen von Publishern die Beschreibung von Google-Extended.Quelle: developers.google.com
- Cloudflare schlägt vor, dass Bots und Agenten ihre Anfragen kryptografisch signieren, auf Basis von HTTP Message Signatures (RFC 9421).Quelle: blog.cloudflare.com
- Cloudflare ändert die Voreinstellung und blockiert KI-Crawler standardmäßig, sofern Betreiber nichts anderes festlegen.Quelle: blog.cloudflare.com
- Cloudflare startet Pay per Crawl als geschlossene Beta. Crawler zahlen pro Abruf oder erhalten den Statuscode 402 mit Preisangabe.Quelle: blog.cloudflare.com
OpenAI nennt für die Crawler-Berechtigungen nur „letzten Sommer“ (Beitrag vom 7. Mai 2024); das oft genannte Datum August 2023 für GPTBot stammt aus Presseberichten. Für ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, OAI-SearchBot, ChatGPT-User, Meta-ExternalAgent und CCBot gibt es Doku der Betreiber, aber kein belegtes Einführungsdatum. Stand: .
Beispiel
Diese robots.txt schließt ClaudeBot von der ganzen Website aus und erlaubt Claude-User weiterhin den Abruf:
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-User
Allow: /
Wer ClaudeBot nur bremsen möchte, setzt stattdessen eine Verzögerung in Sekunden:
User-agent: ClaudeBot
Crawl-delay: 1
Häufige Fehler
- Nur die Hauptdomain sperren. Laut Anthropic muss die Regel in der robots.txt jeder Subdomain stehen, die ausgeschlossen werden soll.
- ClaudeBot per IP-Sperre aussperren. Anthropic weist darauf hin, dass der Bot dann die robots.txt nicht lesen kann und der Ausschluss nicht zuverlässig wirkt.
- ClaudeBot mit allen Anthropic-Bots gleichsetzen. Die Sperre betrifft das Training. Claude-User und Claude-SearchBot haben eigene Tokens und brauchen eigene Regeln.
- Dem User-Agent allein vertrauen. Der Wert lässt sich fälschen. Ob ein Zugriff von Anthropic stammt, zeigt der Abgleich der Quell-IP mit der veröffentlichten Liste.
Häufige Fragen
Sollte ich ClaudeBot blockieren? Das hängt davon ab, ob die eigenen Inhalte in das Training von KI-Modellen einfließen sollen. Die Sperre betrifft laut Anthropic das Training. Wer in Antworten von Claude als Quelle auftauchen möchte, sollte Claude-User und Claude-SearchBot getrennt betrachten und nicht pauschal alle Anthropic-Bots aussperren.
Wie erkenne ich ClaudeBot in meinen Logfiles?
Am Token ClaudeBot im User-Agent. Da sich dieser Wert fälschen lässt, gehört der Abgleich der Quell-IP mit der veröffentlichten Liste von Anthropic dazu.
Mehr dazu im searchVIU-Blog
Quellen
Stand: