Claude-User ist der User-Agent, mit dem Claude, der KI-Assistent von Anthropic, Webseiten abruft, wenn Nutzer eine Frage stellen. Der Abruf erfolgt auf Anfrage einer Person und ist kein breites Crawling. Als robots.txt-Token dient Claude-User.
Auf einen Blick
- Betreiber
- Anthropic
- Zweck
- Abruf von Seiten, wenn Nutzer Claude eine Frage stellen
- robots.txt-Token
Claude-User- Beachtet robots.txt
- ja, Sperre verhindert laut Anthropic den Abruf auf Nutzerfragen
- IP-Liste
- ja (JSON)
Stand:
Wofür nutzt Anthropic Claude-User?
Laut Anthropic greift Claude mit diesem User-Agent auf Websites zu, wenn Menschen Claude Fragen stellen. Anthropic betreibt daneben ClaudeBot und Claude-SearchBot mit jeweils eigenen Aufgaben. Ein Zugriff durch Claude-User kommt deshalb an einem bestimmten Zeitpunkt zustande, an dem jemand eine passende Frage gestellt hat.
| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) | |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |
Auswahl von zehn KI-Bots großer Anbieter, keine vollständige Liste. Alle Werte stammen aus der Dokumentation des jeweiligen Betreibers (Stand 8. Oktober 2026). Ob ein Bot sich tatsächlich an die robots.txt hält, sagt die Tabelle nicht; sie gibt nur die Angaben der Betreiber wieder. Ein User-Agent lässt sich fälschen, echte Zugriffe erkennt man über die veröffentlichten IP-Listen oder Reverse-DNS. Quellen: OpenAI: Overview of OpenAI Crawlers; Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07); Perplexity: Perplexity Crawlers; Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google: Verifying Google crawlers and fetchers (IP range files); Apple: About Applebot (2026-09-04); Meta: Meta Web Crawlers; Common Crawl: CCBot. Stand: .
Wie lässt sich Claude-User steuern?
Laut Anthropic beachten die Bots des Unternehmens die Anweisungen in der robots.txt. Für Claude-User heißt das, dass Website-Betreiber steuern können, welche Seiten über von Nutzern ausgelöste Anfragen abrufbar sind. Wer den Bot ausschließt, verhindert laut Anthropic, dass Inhalte als Antwort auf eine Nutzeranfrage abgerufen werden. Das kann die Sichtbarkeit bei nutzergesteuerter Websuche verringern.
Beispiel
User-agent: Claude-User
Disallow: /private/
Die Regel sperrt nur das Verzeichnis /private/. Der übrige Bereich bleibt für Claude-User abrufbar.
Häufige Fehler
- Anthropic-Bots über die IP-Adresse aussperren. Anthropic warnt, dass dies den Bot am Lesen der robots.txt hindert und einen Opt-out nicht dauerhaft sicherstellt.
- Regel nur auf der Hauptdomain setzen. Anthropic verlangt die Anweisung für jede Subdomain einzeln.
Häufige Fragen
Betrifft eine Sperre von Claude-User auch das Training? Dafür ist ClaudeBot zuständig. Jeder Anthropic-Bot hat einen eigenen User-Agent und lässt sich einzeln steuern.
Wie unterscheidet sich Claude-User von ChatGPT-User? Beide Bots rufen Seiten ab, wenn Nutzer eine Frage stellen. Der eine gehört zu Anthropic, der andere zu OpenAI.
Mehr dazu im searchVIU-Blog
Quellen
Stand: