# Diffbot

Kategorie: [KI-Bots & Crawler](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/) › [Weitere KI-Bots](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/weitere-ki-bots/)

**Diffbot** ist ein Unternehmen, das Webseiten mit KI in strukturierte Daten umwandelt. Es betreibt einen eigenen Crawler, der unabhängig von Google und Bing das öffentliche Web durchläuft und daraus einen Knowledge Graph aufbaut. In Server-Logs erscheint er unter dem User-Agent `Diffbot`.

## Wofür nutzt Diffbot den Crawler?

Diffbot beschreibt seinen Knowledge Graph als automatisch erstellte Datenbank aus Fakten, die aus dem öffentlichen Web gewonnen werden. Die Plattform bietet dazu mehrere Schnittstellen, unter anderem Extract (Entitäten aus Seiten lesen), Crawl (Entitäten auf ganzen Websites finden) und Search (das Web als Graph abfragen).

In der FAQ nennt Diffbot zwei User-Agents. `Diffbot` steht für allgemeines, proaktives Crawling. `Diffbot-User` gehört zu Anfragen im Auftrag eines Menschen, der mit Diffbot-Software eine URL aufruft. Nach eigener Angabe crawlt Diffbot keine Seiten für das Training generativer KI-Basismodelle.

## Wie lässt sich Diffbot steuern?

Standardmäßig befolgen Diffbots Crawls die robots.txt einschließlich `Disallow` und `Crawl-delay`. In Ausnahmefällen kann die Anweisung überschrieben werden, laut Diffbot typischerweise bei einer Vereinbarung mit der betreffenden Website. Kunden der Crawl-Funktion können außerdem einen eigenen User-Agent setzen.

## Beispiel

```robots
User-agent: Diffbot
Crawl-delay: 5
Disallow: /intern/
```

## Häufige Fragen

**Was ist der Unterschied zwischen Diffbot und Diffbot-User?**
`Diffbot` crawlt proaktiv, `Diffbot-User` ruft eine URL für eine Person ab.

**Beachtet Diffbot die robots.txt?**
Standardmäßig ja. Ausnahmen sind laut Diffbot nur bei Vereinbarungen mit der Website möglich.

## Auf einen Blick

- **Betreiber:** Diffbot
- **Zweck:** Knowledge Graph und Websuche; laut Diffbot kein Training generativer Basismodelle
- **robots.txt-Token:** Diffbot (Abrufe im Nutzerauftrag: Diffbot-User)
- **Beachtet robots.txt:** ja, standardmäßig, auch Crawl-delay; Ausnahmen bei Vereinbarung mit der Website
- **Doku:** [Diffbot: Does Diffbot respect robots.txt?](https://www.diffbot.com/docs/crawl/faq/robots-txt)

Stand: 8. Oktober 2026

## KI-Bots im Vergleich

| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Google | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.com/gptbot.json) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.com/searchbot.json) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.com/chatgpt-user.json) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.com/perplexitybot.json) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.commoncrawl.org/ccbot.json) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |

Quellen: [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots); [Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07)](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler); [Perplexity: Perplexity Crawlers](https://docs.perplexity.ai/guides/bots); [Google: Google's common crawlers (last updated 2026-07-14)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers); [Google: Overview of Google crawlers and fetchers (last updated 2026-06-12)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers); [Google: Verifying Google crawlers and fetchers (IP range files)](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests); [Apple: About Applebot (2026-09-04)](https://support.apple.com/en-us/119829); [Meta: Meta Web Crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/); [Common Crawl: CCBot](https://commoncrawl.org/ccbot). Stand: 8. Oktober 2026

## Verwandte Begriffe

- [KI-Crawler (AI Crawler)](https://seo-geo-glossary.com/de/glossar/ki-crawler/index.md)
- [robots.txt](https://seo-geo-glossary.com/de/glossar/robots-txt/index.md)
- [Crawl-delay](https://seo-geo-glossary.com/de/glossar/crawl-delay/index.md)
- [User-Agent](https://seo-geo-glossary.com/de/glossar/user-agent/index.md)
- [Scraper](https://seo-geo-glossary.com/de/glossar/scraper/index.md)

## Quellen

- [Does Diffbot respect robots.txt? – Diffbot Docs](https://www.diffbot.com/docs/crawl/faq/robots-txt)
- [Diffbot Docs – Überblick](https://www.diffbot.com/docs/)
- [About Diffbot](https://www.diffbot.com/company/)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/diffbot/