# anthropic-ai

Kategorie: [KI-Bots & Crawler](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/) › [Bots von OpenAI, Anthropic & Perplexity](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/openai-anthropic-perplexity/) · Historisch

**anthropic-ai** ist ein User-Agent-Name, der in vielen robots.txt-Dateien steht, um Crawler von Anthropic auszuschließen. In der aktuellen Crawler-Dokumentation von Anthropic kommt der Name nicht vor. Maßgeblich sind heute die dort aufgeführten Bots `ClaudeBot`, `Claude-User` und `Claude-SearchBot`.

## Was ist über anthropic-ai belegt?

Die Anthropic-Hilfeseite zu den Crawlern nennt drei Bots und beschreibt für jeden Zweck und Steuerung per robots.txt. Ein Token `anthropic-ai` erwähnt sie nicht. Laut Berichten, etwa in Bot-Verzeichnissen von Drittanbietern, ist `anthropic-ai` eine ältere Bezeichnung, die Anthropic nicht mehr dokumentiert. Anthropic selbst bestätigt das nicht.

Für die robots.txt bedeutet das Folgendes. Nach RFC 9309 gelten Regeln für den User-Agent, den ein Crawler in seiner Anfrage verwendet und der mit dem Eintrag übereinstimmt. Ein Eintrag für einen Namen, den kein Bot verwendet, bleibt wirkungslos.

## Beispiel

Diese robots.txt sperrt die drei dokumentierten Anthropic-Bots. Der Eintrag `anthropic-ai` kann zusätzlich stehen bleiben:

```robots
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: anthropic-ai
Disallow: /
```

Wer nur das Training ausschließen möchte, sperrt allein `ClaudeBot`. Die anderen beiden Bots stehen für Nutzeranfragen und Suche.

## Häufige Fehler

- **Nur anthropic-ai sperren.** Anthropic nennt in der Hilfe drei Bots mit eigenen Namen. Eine Regel für einen nicht dokumentierten Namen ersetzt diese Einträge nicht.
- **Anthropic-Bots über die IP-Adresse aussperren.** Anthropic warnt, dass dies den Bot am Lesen der robots.txt hindert und einen Opt-out nicht dauerhaft sicherstellt.
- **Regel nur auf der Hauptdomain setzen.** Anthropic verlangt die Anweisung für jede Subdomain einzeln.

## Häufige Fragen

**Reicht ein Eintrag für anthropic-ai, um Anthropic auszusperren?**
Nach der aktuellen Dokumentation nicht. Maßgeblich sind die drei von Anthropic genannten User-Agents.

**Schadet ein veralteter Eintrag?**
Er wirkt nur, wenn ein Bot diesen Namen verwendet. Zur Sicherheit kann er neben den aktuellen Tokens stehen bleiben.

## Auf einen Blick

- **Betreiber:** Anthropic (Zuordnung laut Berichten)
- **robots.txt-Token:** anthropic-ai
- **Zweck:** in Anthropics Doku nicht beschrieben
- **Beachtet robots.txt:** in Anthropics Doku nicht beschrieben
- **Status:** in Anthropics aktueller Crawler-Doku nicht aufgeführt
- **Doku:** [Anthropic-Hilfe: dokumentiert sind ClaudeBot, Claude-User und Claude-SearchBot](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)

Stand: 8. Oktober 2026

## KI-Bots im Vergleich

| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Google | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.com/gptbot.json) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.com/searchbot.json) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.com/chatgpt-user.json) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.com/perplexitybot.json) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.commoncrawl.org/ccbot.json) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |

Quellen: [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots); [Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07)](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler); [Perplexity: Perplexity Crawlers](https://docs.perplexity.ai/guides/bots); [Google: Google's common crawlers (last updated 2026-07-14)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers); [Google: Overview of Google crawlers and fetchers (last updated 2026-06-12)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers); [Google: Verifying Google crawlers and fetchers (IP range files)](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests); [Apple: About Applebot (2026-09-04)](https://support.apple.com/en-us/119829); [Meta: Meta Web Crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/); [Common Crawl: CCBot](https://commoncrawl.org/ccbot). Stand: 8. Oktober 2026

## Verwandte Begriffe

- [ClaudeBot](https://seo-geo-glossary.com/de/glossar/claudebot/index.md)
- [Claude-User](https://seo-geo-glossary.com/de/glossar/claude-user/index.md)
- [Claude-SearchBot](https://seo-geo-glossary.com/de/glossar/claude-searchbot/index.md)
- [robots.txt](https://seo-geo-glossary.com/de/glossar/robots-txt/index.md)
- [User-Agent](https://seo-geo-glossary.com/de/glossar/user-agent/index.md)

## Quellen

- [Does Anthropic crawl data from the web, and how can site owners block the crawler? – Anthropic Help Center](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [RFC 9309: Robots Exclusion Protocol – IETF](https://www.rfc-editor.org/rfc/rfc9309.html)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/anthropic-ai/