DuckDuckBot ist der Web-Crawler der Suchmaschine DuckDuckGo. Laut DuckDuckGo soll er die eigenen Suchergebnisse laufend verbessern.
Auf einen Blick
- Betreiber
- DuckDuckGo
- Zweck
- Crawler zur Verbesserung der DuckDuckGo-Suchergebnisse
- User-Agent
DuckDuckBot/1.1; (+http://duckduckgo.com/duckduckbot.html)- Beachtet robots.txt
- ja, laut DuckDuckGo (WWW::RobotRules)
- IP-Liste
- duckduckbot.json
Stand:
Welche Rolle spielt DuckDuckBot?
DuckDuckGo bezieht Suchergebnisse aus mehreren Quellen. Klassische Links und Bilder stammen laut DuckDuckGo größtenteils von Bing, dazu kommen spezialisierte Quellen wie Wikipedia. Mit DuckDuckBot und mehreren eigenen Indizes ergänzt die Suchmaschine diese Daten. Für die KI-gestützten Antworten betreibt DuckDuckGo einen eigenen Bot, den DuckAssistBot.
DuckDuckBot hält sich laut DuckDuckGo an die robots.txt. Die IP-Adressen, von denen er crawlt, veröffentlicht DuckDuckGo auf der Hilfeseite und als JSON-Datei. So lässt sich im Logfile prüfen, ob ein Zugriff wirklich vom DuckDuckBot stammt.
Beispiel
User-agent: DuckDuckBot
Disallow: /intern/
User-Agent laut DuckDuckGo: DuckDuckBot/1.1; (+http://duckduckgo.com/duckduckbot.html)
Quellen
- DuckDuckBot – DuckDuckGo Help Pagesduckduckgo.com
- Where do DuckDuckGo search results come from? – DuckDuckGo Help Pagesduckduckgo.com
- DuckDuckBot IP-Liste (JSON)duckduckgo.com
Stand: