# CCBot (Common Crawl)

Kategorie: [KI-Bots & Crawler](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/) › [Weitere KI-Bots](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/weitere-ki-bots/) · Auch genannt: Common Crawl

**CCBot** ist der Web-Crawler der gemeinnützigen Organisation Common Crawl. Er sammelt Webseiten für ein offenes Archiv, das Forschung, Unternehmen und Privatpersonen kostenlos nutzen können. Als robots.txt-Token dient `CCBot`.

## Wofür steht CCBot?

Common Crawl beschreibt sich als gemeinnützige Organisation (501(c)(3)), die eine Kopie des Internets für Recherche und Analyse bereitstellt. Die Daten sind frei verfügbar. Andere Projekte können das Archiv für eigene Zwecke verwenden, ohne selbst crawlen zu müssen. Daher taucht der Name laut Berichten in Diskussionen über KI-Training auf, obwohl Common Crawl selbst kein KI-Anbieter ist.

Der User-Agent lautet laut Common Crawl `CCBot/2.0 (https://commoncrawl.org/faq/)`.

## Wie lässt sich CCBot steuern?

CCBot beachtet das Robots Exclusion Protocol. Laut FAQ berücksichtigt er außerdem `Crawl-delay`. Wer zusätzlich verifizieren möchte, ob ein Zugriff von Common Crawl stammt, nutzt die veröffentlichten IP-Bereiche (JSON-Datei) und den Reverse-DNS-Eintrag. Common Crawl weist darauf hin, dass sich andere Crawler fälschlich als CCBot ausgeben.

## Beispiel

```robots
User-agent: CCBot
Disallow: /
```

Mit einer Verzögerung statt einer Sperre:

```robots
User-agent: CCBot
Crawl-delay: 2
```

## Häufige Fehler

- **Nur den User-Agent prüfen.** Common Crawl weist darauf hin, dass sich Crawler fälschlich als CCBot ausgeben. Echte Zugriffe lassen sich über die IP-Liste und Reverse-DNS prüfen.

## Häufige Fragen

**Ist CCBot ein KI-Crawler?**
CCBot sammelt Webinhalte für ein allgemeines Archiv. Anbieter von KI-Modellen können solche Archive nutzen, der Crawler dient aber selbst keinem einzelnen Modell.

**Wie erkenne ich einen echten CCBot?**
Über die IP-Bereiche, die Common Crawl veröffentlicht. Der User-Agent allein lässt sich fälschen.

## Auf einen Blick

- **Betreiber:** Common Crawl (gemeinnützig)
- **Zweck:** offenes Web-Archiv
- **robots.txt-Token:** CCBot
- **Doku:** [Common Crawl: CCBot](https://commoncrawl.org/ccbot)
- **Beachtet robots.txt:** ja, auch Crawl-delay
- **IP-Liste:** [ja (JSON)](https://index.commoncrawl.org/ccbot.json)

Stand: 8. Oktober 2026

## KI-Bots im Vergleich

| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Google | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.com/gptbot.json) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.com/searchbot.json) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.com/chatgpt-user.json) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.com/perplexitybot.json) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.commoncrawl.org/ccbot.json) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |

Quellen: [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots); [Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07)](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler); [Perplexity: Perplexity Crawlers](https://docs.perplexity.ai/guides/bots); [Google: Google's common crawlers (last updated 2026-07-14)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers); [Google: Overview of Google crawlers and fetchers (last updated 2026-06-12)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers); [Google: Verifying Google crawlers and fetchers (IP range files)](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests); [Apple: About Applebot (2026-09-04)](https://support.apple.com/en-us/119829); [Meta: Meta Web Crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/); [Common Crawl: CCBot](https://commoncrawl.org/ccbot). Stand: 8. Oktober 2026

## Verwandte Begriffe

- [Pay per Crawl](https://seo-geo-glossary.com/de/glossar/pay-per-crawl/index.md)
- [Crawl-to-Referral-Verhältnis](https://seo-geo-glossary.com/de/glossar/crawl-to-referral-verhaeltnis/index.md)
- [Crawl-Budget](https://seo-geo-glossary.com/de/glossar/crawl-budget/index.md)
- [Crawl-delay](https://seo-geo-glossary.com/de/glossar/crawl-delay/index.md)
- [robots.txt](https://seo-geo-glossary.com/de/glossar/robots-txt/index.md)
- [KI-Crawler (AI Crawler)](https://seo-geo-glossary.com/de/glossar/ki-crawler/index.md)

## Quellen

- [CCBot – Common Crawl](https://commoncrawl.org/ccbot)
- [FAQ – Common Crawl](https://commoncrawl.org/faq)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/ccbot/