DuckAssistBot ist der Crawler von DuckDuckGo für die KI-gestützten Antworten („AI-assisted answers“) in der DuckDuckGo-Suche. Er ruft Seiten ab, damit diese Antworten ihre Quellen nennen können.
Auf einen Blick
- Betreiber
- DuckDuckGo
- Zweck
- Abruf für KI-gestützte Antworten, laut DuckDuckGo kein Training
- robots.txt-Token
- DuckAssistBot
- User-Agent
- DuckAssistBot/1.2; (+http://duckduckgo.com/duckassistbot.html)
- Beachtet robots.txt
- sperrbar per robots.txt, wirkt laut DuckDuckGo nach 72 Stunden
- IP-Liste
- ja, als JSON-Datei
Stand:
Was macht DuckAssistBot?
Laut DuckDuckGo sammelt der Bot Daten für die KI-Antworten, die Quellen sichtbar angeben. Die Daten werden nach Angabe des Unternehmens nicht zum Training von KI-Modellen verwendet. Der Bot meldet sich mit dem User-Agent DuckAssistBot/1.2; (+http://duckduckgo.com/duckassistbot.html). Die IP-Adressen veröffentlicht DuckDuckGo in einer eigenen Liste.
Der klassische Crawler von DuckDuckGo heißt DuckDuckBot und ist ein eigener Bot mit anderer Aufgabe.
| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) | |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |
Auswahl von zehn KI-Bots großer Anbieter, keine vollständige Liste. Alle Werte stammen aus der Dokumentation des jeweiligen Betreibers (Stand 8. Oktober 2026). Ob ein Bot sich tatsächlich an die robots.txt hält, sagt die Tabelle nicht; sie gibt nur die Angaben der Betreiber wieder. Ein User-Agent lässt sich fälschen, echte Zugriffe erkennt man über die veröffentlichten IP-Listen oder Reverse-DNS. Quellen: OpenAI: Overview of OpenAI Crawlers; Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07); Perplexity: Perplexity Crawlers; Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google: Verifying Google crawlers and fetchers (IP range files); Apple: About Applebot (2026-09-04); Meta: Meta Web Crawlers; Common Crawl: CCBot. Stand: .
Wie lässt sich DuckAssistBot steuern?
Websites können den Bot in der robots.txt ausschließen. Eine Änderung greift laut DuckDuckGo innerhalb von 72 Stunden. Die organischen Rankings in der DuckDuckGo-Suche bleiben davon nach Angabe des Unternehmens unberührt.
Beispiel
User-agent: DuckAssistBot
Disallow: /intern/
Die Regel sperrt nur das Verzeichnis /intern/. Alles andere darf der Bot abrufen.
Häufige Fragen
Wird mit DuckAssistBot ein KI-Modell trainiert? DuckDuckGo verneint das in der eigenen Dokumentation.
Quellen
- DuckAssistBot – DuckDuckGo Help Pagesduckduckgo.com
- DuckDuckBot – DuckDuckGo Help Pagesduckduckgo.com
Stand: