- Amazonbot
Amazonbot ist der Web-Crawler von Amazon.
- Amzn-SearchBot
Amzn-SearchBot ist ein Crawler von Amazon, der laut Amazon Sucherlebnisse in Amazon-Produkten und -Diensten verbessert.
- Amzn-User
Amzn-User ist ein Abrufer (Fetcher) von Amazon, der Webseiten im Auftrag von Nutzern lädt.
- Applebot / Applebot-Extended
Applebot ist der Web-Crawler von Apple, der Inhalte für Suchfunktionen wie Spotlight, Siri und Safari sammelt.
- Bytespider
Bytespider ist ein Web-Crawler, der laut Berichten vom Unternehmen ByteDance betrieben wird, zu dem TikTok gehört.
- CCBot (Common Crawl)
CCBot ist der Web-Crawler der gemeinnützigen Organisation Common Crawl.
- cohere-ai
cohere-ai ist ein User-Agent-Token, das dem KI-Unternehmen Cohere zugeschrieben wird.
- Diffbot
Diffbot ist ein Unternehmen, das Webseiten mit KI in strukturierte Daten umwandelt.
- DuckAssistBot
DuckAssistBot ist der Crawler von DuckDuckGo für die KI-gestützten Antworten („AI-assisted answers“) in der DuckDuckGo-Suche.
- Google-CloudVertexBot
Google-CloudVertexBot ist ein Crawler von Google, der Websites im Auftrag ihrer Betreiber abruft, damit diese Inhalte in Vertex-AI-Agenten …
- Meta-ExternalAgent
Meta-ExternalAgent ist ein Web-Crawler von Meta (Facebook, Instagram, WhatsApp).
- Meta-ExternalFetcher
Meta-ExternalFetcher ist ein Abrufdienst von Meta, der einzelne Links auf Anfrage von Nutzern lädt.
- Meta-WebIndexer
Meta-WebIndexer ist ein Crawler von Meta, der laut Meta die Qualität der Suchergebnisse von Meta AI verbessern soll.
- MistralAI-User
MistralAI-User ist der User-Agent, mit dem der KI-Assistent von Mistral AI Webseiten abruft, wenn ein Nutzer eine Frage stellt.
- YouBot
YouBot ist der Web-Crawler der Suchmaschine You.com.