Claude-SearchBot ist ein Crawler von Anthropic, der Webinhalte indexiert, um die Qualität und Genauigkeit von Suchergebnissen in Claude zu verbessern. Er ist einer von drei Anthropic-Bots. ClaudeBot sammelt Trainingsdaten, Claude-User ruft Seiten auf Nutzeranfrage ab.
Auf einen Blick
- Betreiber
- Anthropic
- Zweck
- Qualität der Suchergebnisse in Claude verbessern (Indexierung von Webinhalten)
- robots.txt-Token
Claude-SearchBot- Beachtet robots.txt
- ja, laut Anthropic beachten seine Bots die robots.txt
- IP-Liste
- ja (JSON)
Stand:
Folgen einer Sperrung
Laut Anthropic nimmt eine Sperre von Claude-SearchBot Inhalte aus der Suchindexierung heraus. Die Sichtbarkeit und Genauigkeit in den Suchergebnissen von Claude kann dadurch sinken. Wer nur das Training ausschließen möchte, sperrt stattdessen ClaudeBot.
| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) | |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| Claude-SearchBot (dieser Begriff) | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |
Auswahl von zehn KI-Bots großer Anbieter, keine vollständige Liste. Alle Werte stammen aus der Dokumentation des jeweiligen Betreibers (Stand 8. Oktober 2026). Ob ein Bot sich tatsächlich an die robots.txt hält, sagt die Tabelle nicht; sie gibt nur die Angaben der Betreiber wieder. Ein User-Agent lässt sich fälschen, echte Zugriffe erkennt man über die veröffentlichten IP-Listen oder Reverse-DNS. Quellen: OpenAI: Overview of OpenAI Crawlers; Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07); Perplexity: Perplexity Crawlers; Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google: Verifying Google crawlers and fetchers (IP range files); Apple: About Applebot (2026-09-04); Meta: Meta Web Crawlers; Common Crawl: CCBot. Stand: .
Beispiel
User-agent: Claude-SearchBot
Disallow: /
Das Muster stammt aus Anthropics Beispiel für ClaudeBot und ist hier auf Claude-SearchBot übertragen. Die Regel muss laut Anthropic in der robots.txt jeder Subdomain stehen, die ausgeschlossen werden soll. Anthropic nennt außerdem die Anweisung Crawl-delay, mit der sich die Abrufgeschwindigkeit der Bots drosseln lässt.
Hinweis zur IP-Sperre
Anthropic warnt davor, Bots über IP-Adressen auszusperren. Der Bot könnte dann die robots.txt nicht mehr lesen und kennt die Wünsche der Website nicht. Zur Überprüfung echter Zugriffe veröffentlicht Anthropic eine offizielle IP-Liste.
Häufige Fehler
- Claude-SearchBot sperren, um das Training auszuschließen. Laut Anthropic nimmt die Sperre Inhalte aus der Suchindexierung. Trainingsdaten sammelt ClaudeBot.
- Regel nur auf der Hauptdomain setzen. Anthropic verlangt die Anweisung für jede Subdomain einzeln.
Quellen
Stand: