anthropic-ai ist ein User-Agent-Name, der in vielen robots.txt-Dateien steht, um Crawler von Anthropic auszuschließen. In der aktuellen Crawler-Dokumentation von Anthropic kommt der Name nicht vor. Maßgeblich sind heute die dort aufgeführten Bots ClaudeBot, Claude-User und Claude-SearchBot.
Auf einen Blick
- Betreiber
- Anthropic (Zuordnung laut Berichten)
- robots.txt-Token
anthropic-ai- Zweck
- in Anthropics Doku nicht beschrieben
- Beachtet robots.txt
- in Anthropics Doku nicht beschrieben
- Status
- in Anthropics aktueller Crawler-Doku nicht aufgeführt
Stand:
Was ist über anthropic-ai belegt?
Die Anthropic-Hilfeseite zu den Crawlern nennt drei Bots und beschreibt für jeden Zweck und Steuerung per robots.txt. Ein Token anthropic-ai erwähnt sie nicht. Laut Berichten, etwa in Bot-Verzeichnissen von Drittanbietern, ist anthropic-ai eine ältere Bezeichnung, die Anthropic nicht mehr dokumentiert. Anthropic selbst bestätigt das nicht.
Für die robots.txt bedeutet das Folgendes. Nach RFC 9309 gelten Regeln für den User-Agent, den ein Crawler in seiner Anfrage verwendet und der mit dem Eintrag übereinstimmt. Ein Eintrag für einen Namen, den kein Bot verwendet, bleibt wirkungslos.
| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) | |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |
Auswahl von zehn KI-Bots großer Anbieter, keine vollständige Liste. Alle Werte stammen aus der Dokumentation des jeweiligen Betreibers (Stand 8. Oktober 2026). Ob ein Bot sich tatsächlich an die robots.txt hält, sagt die Tabelle nicht; sie gibt nur die Angaben der Betreiber wieder. Ein User-Agent lässt sich fälschen, echte Zugriffe erkennt man über die veröffentlichten IP-Listen oder Reverse-DNS. Quellen: OpenAI: Overview of OpenAI Crawlers; Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07); Perplexity: Perplexity Crawlers; Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google: Verifying Google crawlers and fetchers (IP range files); Apple: About Applebot (2026-09-04); Meta: Meta Web Crawlers; Common Crawl: CCBot. Stand: .
Beispiel
Diese robots.txt sperrt die drei dokumentierten Anthropic-Bots. Der Eintrag anthropic-ai kann zusätzlich stehen bleiben:
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: anthropic-ai
Disallow: /
Wer nur das Training ausschließen möchte, sperrt allein ClaudeBot. Die anderen beiden Bots stehen für Nutzeranfragen und Suche.
Häufige Fehler
- Nur anthropic-ai sperren. Anthropic nennt in der Hilfe drei Bots mit eigenen Namen. Eine Regel für einen nicht dokumentierten Namen ersetzt diese Einträge nicht.
- Anthropic-Bots über die IP-Adresse aussperren. Anthropic warnt, dass dies den Bot am Lesen der robots.txt hindert und einen Opt-out nicht dauerhaft sicherstellt.
- Regel nur auf der Hauptdomain setzen. Anthropic verlangt die Anweisung für jede Subdomain einzeln.
Häufige Fragen
Reicht ein Eintrag für anthropic-ai, um Anthropic auszusperren? Nach der aktuellen Dokumentation nicht. Maßgeblich sind die drei von Anthropic genannten User-Agents.
Schadet ein veralteter Eintrag? Er wirkt nur, wenn ein Bot diesen Namen verwendet. Zur Sicherheit kann er neben den aktuellen Tokens stehen bleiben.
Quellen
Stand: