# Claude-SearchBot

Kategorie: [KI-Bots & Crawler](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/) › [Bots von OpenAI, Anthropic & Perplexity](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/openai-anthropic-perplexity/)

**Claude-SearchBot** ist ein Crawler von Anthropic, der Webinhalte indexiert, um die Qualität und Genauigkeit von Suchergebnissen in Claude zu verbessern. Er ist einer von drei Anthropic-Bots. ClaudeBot sammelt Trainingsdaten, Claude-User ruft Seiten auf Nutzeranfrage ab.

## Folgen einer Sperrung

Laut Anthropic nimmt eine Sperre von Claude-SearchBot Inhalte aus der Suchindexierung heraus. Die Sichtbarkeit und Genauigkeit in den Suchergebnissen von Claude kann dadurch sinken. Wer nur das Training ausschließen möchte, sperrt stattdessen ClaudeBot.

## Beispiel

```robots
User-agent: Claude-SearchBot
Disallow: /
```

Das Muster stammt aus Anthropics Beispiel für ClaudeBot und ist hier auf Claude-SearchBot übertragen. Die Regel muss laut Anthropic in der robots.txt jeder Subdomain stehen, die ausgeschlossen werden soll. Anthropic nennt außerdem die Anweisung `Crawl-delay`, mit der sich die Abrufgeschwindigkeit der Bots drosseln lässt.

## Hinweis zur IP-Sperre

Anthropic warnt davor, Bots über IP-Adressen auszusperren. Der Bot könnte dann die robots.txt nicht mehr lesen und kennt die Wünsche der Website nicht. Zur Überprüfung echter Zugriffe veröffentlicht Anthropic eine offizielle IP-Liste.

## Häufige Fehler

- **Claude-SearchBot sperren, um das Training auszuschließen.** Laut Anthropic nimmt die Sperre Inhalte aus der Suchindexierung. Trainingsdaten sammelt ClaudeBot.
- **Regel nur auf der Hauptdomain setzen.** Anthropic verlangt die Anweisung für jede Subdomain einzeln.

## Auf einen Blick

- **Betreiber:** Anthropic
- **Zweck:** Qualität der Suchergebnisse in Claude verbessern (Indexierung von Webinhalten)
- **robots.txt-Token:** Claude-SearchBot
- **Beachtet robots.txt:** ja, laut Anthropic beachten seine Bots die robots.txt
- **IP-Liste:** [ja (JSON)](https://claude.com/crawling/bots.json)
- **Doku:** [Anthropic-Hilfe: Crawlt Anthropic Daten aus dem Web](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)

Stand: 8. Oktober 2026

## KI-Bots im Vergleich

| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Google | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.com/gptbot.json) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.com/searchbot.json) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.com/chatgpt-user.json) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.com/perplexitybot.json) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.commoncrawl.org/ccbot.json) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |

Quellen: [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots); [Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07)](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler); [Perplexity: Perplexity Crawlers](https://docs.perplexity.ai/guides/bots); [Google: Google's common crawlers (last updated 2026-07-14)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers); [Google: Overview of Google crawlers and fetchers (last updated 2026-06-12)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers); [Google: Verifying Google crawlers and fetchers (IP range files)](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests); [Apple: About Applebot (2026-09-04)](https://support.apple.com/en-us/119829); [Meta: Meta Web Crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/); [Common Crawl: CCBot](https://commoncrawl.org/ccbot). Stand: 8. Oktober 2026

## Verwandte Begriffe

- [ClaudeBot](https://seo-geo-glossary.com/de/glossar/claudebot/index.md)
- [Claude-User](https://seo-geo-glossary.com/de/glossar/claude-user/index.md)
- [OAI-SearchBot](https://seo-geo-glossary.com/de/glossar/oai-searchbot/index.md)
- [robots.txt](https://seo-geo-glossary.com/de/glossar/robots-txt/index.md)

## Quellen

- [Crawlt Anthropic Daten aus dem Web und wie können Website-Besitzer den Crawler blockieren? – Claude Help Center](https://support.claude.com/de/articles/8896518-crawlt-anthropic-daten-aus-dem-web-und-wie-konnen-website-besitzer-den-crawler-blockieren)
- [IP-Bereiche der Anthropic-Bots (bots.json, Stand 2.10.2026)](https://claude.com/crawling/bots.json)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/claude-searchbot/