cohere-ai ist ein User-Agent-Token, das dem KI-Unternehmen Cohere zugeschrieben wird. Er taucht in Server-Logs und Bot-Verzeichnissen auf. Cohere selbst hat nach unserer Recherche keine eigene Dokumentation dazu veröffentlicht.
Auf einen Blick
- Betreiber
- Cohere (laut Known Agents, von Cohere nicht bestätigt)
- Zweck
- keine Angabe von Cohere
- robots.txt-Token
cohere-ai- Beachtet robots.txt
- keine Aussage von Cohere; Known Agents erwartet Befolgung (Zweitquelle)
- Doku
- keine Betreiber-Doku gefunden
Stand:
Was ist über cohere-ai bekannt?
Das Verzeichnis Known Agents beschreibt cohere-ai als nicht bestätigten Agenten. Laut Berichten wird er vermutlich von KI-Chatprodukten von Cohere gestartet, wenn sie auf eine Nutzeranfrage hin Inhalte aus dem Internet holen müssen. Cohere hat sich zu Zweck und Aufgabe nicht geäußert. Genaue Angaben zu Training, IP-Bereichen oder dem vollständigen User-Agent-String liegen nicht von Cohere vor.
Ob ein Bot die robots.txt beachtet, entscheidet der Betreiber. Für cohere-ai fehlt dazu eine offizielle Aussage.
| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) | |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |
Auswahl von zehn KI-Bots großer Anbieter, keine vollständige Liste. Alle Werte stammen aus der Dokumentation des jeweiligen Betreibers (Stand 8. Oktober 2026). Ob ein Bot sich tatsächlich an die robots.txt hält, sagt die Tabelle nicht; sie gibt nur die Angaben der Betreiber wieder. Ein User-Agent lässt sich fälschen, echte Zugriffe erkennt man über die veröffentlichten IP-Listen oder Reverse-DNS. Quellen: OpenAI: Overview of OpenAI Crawlers; Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07); Perplexity: Perplexity Crawlers; Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google: Verifying Google crawlers and fetchers (IP range files); Apple: About Applebot (2026-09-04); Meta: Meta Web Crawlers; Common Crawl: CCBot. Stand: .
Wie lässt sich cohere-ai steuern?
Nach RFC 9309 gilt eine robots.txt-Gruppe für Crawler, deren User-Agent-Token zum Eintrag passt. Ein Eintrag für cohere-ai greift also, sofern der Bot dieses Token verwendet und die Regel beachtet. Ob das im Einzelfall zutrifft, lässt sich nur im Logfile prüfen.
Beispiel
User-agent: cohere-ai
Disallow: /
Prüfen lässt sich die Wirkung, indem man in den Logs nach Anfragen mit dem Token sucht und beobachtet, ob sie nach der Änderung ausbleiben.
Häufige Fragen
Betreibt Cohere einen Crawler für Trainingsdaten? Dazu gibt es keine belegte Aussage von Cohere. Die Verzeichnisse beschreiben cohere-ai als Abruf bei Nutzeranfragen.
Wie erkenne ich cohere-ai in meinen Logs?
Am Token cohere-ai im User-Agent. Da sich dieser Wert fälschen lässt, ist er allein kein Beleg für Cohere.
Quellen
- cohere-ai – Known Agents (Zweitquelle)knownagents.com
- RFC 9309: Robots Exclusion Protocol – IETFrfc-editor.org
Stand: