Web Bot Auth ist ein Verfahren, mit dem sich automatisierte Clients wie Crawler oder KI-Agenten gegenüber Websites per kryptografischer Signatur ausweisen. Websites erkennen dadurch echte Zugriffe eines Betreibers, ohne sich auf User-Agent-Namen oder IP-Listen zu verlassen.
Auf einen Blick
- Herausgeber
- IETF-Arbeitsgruppe webbotauth (Autoren bei Cloudflare und Google)
- Verbindet
- Bots und KI-Agenten mit Websites
- Status
- Internet-Draft, Standards Track angestrebt, noch kein RFC
- Version
- draft-ietf-webbotauth-httpsig-protocol-00 (01.09.2026)
- Spezifikation
- IETF-Draft, baut auf RFC 9421 auf
Stand:
Ziel der Standardisierung
Die IETF-Arbeitsgruppe webbotauth will standardisierte kryptografische Methoden schaffen, damit sich Bots bei Websites authentifizieren. Sie nennt Lücken bei heutigen Ansätzen wie IP-Allowlists und API-Schlüsseln. Im Geltungsbereich der Charter liegen Such-Crawler, Web-Archivierer, Link-Checker, KI-Trainings-Crawler und Agenten, die im Auftrag von Endnutzern handeln. Die Gruppe nennt als Ziele Schutz vor Imitation, Zugriffskontrolle und unterschiedliche Behandlung von automatisiertem und menschlichem Traffic.
Technische Grundlage ist RFC 9421 (HTTP Message Signatures) vom Februar 2024. Der Standard beschreibt, wie sich Bestandteile einer HTTP-Nachricht signieren und prüfen lassen.
Wie funktioniert es bei Cloudflare?
Cloudflare beschreibt vier Schritte für Bot-Betreiber.
- Ein Ed25519-Schlüsselpaar erzeugen. Der öffentliche Schlüssel liegt im JWK-Format vor.
- Ein Schlüsselverzeichnis unter
/.well-known/http-message-signatures-directoryper HTTPS veröffentlichen. - Den Bot samt Verzeichnis-URL bei Cloudflare registrieren.
- Jede Anfrage mit drei Headern versehen.
| Header | Inhalt |
|---|---|
Signature-Input |
Metadaten wie Schlüssel-ID, Ablauf und signierte Komponenten |
Signature |
die Signatur selbst |
Signature-Agent |
URL des Schlüsselverzeichnisses |
Stand der Spezifikation
Seit September 2026 führt die Arbeitsgruppe das Protokoll als eigenen Entwurf (draft-ietf-webbotauth-httpsig-protocol). Autoren sind Mitarbeiter von Cloudflare und Google, angestrebt ist ein Standard. Ein RFC ist daraus noch nicht geworden (Stand Oktober 2026). Cloudflare setzt außerdem nur einen Teil der Komponenten aus RFC 9421 um. Details können sich deshalb noch ändern.
- Die IETF veröffentlicht das Robots Exclusion Protocol als RFC 9309 im Standards Track. Es legt fest, wie Crawler die Regeln einer robots.txt auslegen.Quelle: rfc-editor.org
- OpenAI führt Crawler-Berechtigungen für KI ein. Website-Betreiber können damit angeben, ob ihre Inhalte für KI-Training genutzt werden dürfen.Quelle: openai.com
- Google führt Google-Extended ein. Mit diesem Token in der robots.txt lässt sich steuern, ob Inhalte Bard und die generativen APIs von Vertex AI verbessern.Quelle: blog.google
- Nach der Umbenennung von Bard nennt die Google-Doku Gemini Apps als betroffenes Produkt von Google-Extended.Quelle: developers.google.com
- Apple stellt die Foundation Models für Apple Intelligence vor. Website-Betreiber können der Nutzung ihrer Inhalte für das Training widersprechen, laut Apple-Doku über Applebot-Extended.Quelle: machinelearning.apple.com
- Cloudflare bietet an, KI-Bots, Scraper und Crawler mit einem Klick zu blockieren.Quelle: blog.cloudflare.com
- Mit dem SearchGPT-Prototyp trennt OpenAI Suche und Training. Websites können in der Suche erscheinen, auch wenn sie das KI-Training ausschließen.Quelle: openai.com
- Google ergänzt Google-CloudVertexBot in der Crawler-Liste. Er crawlt Websites auf Wunsch der Betreiber für Vertex-AI-Agenten.Quelle: developers.google.com
- Google präzisiert nach Rückmeldungen von Publishern die Beschreibung von Google-Extended.Quelle: developers.google.com
- Cloudflare schlägt vor, dass Bots und Agenten ihre Anfragen kryptografisch signieren, auf Basis von HTTP Message Signatures (RFC 9421).Quelle: blog.cloudflare.com
- Cloudflare ändert die Voreinstellung und blockiert KI-Crawler standardmäßig, sofern Betreiber nichts anderes festlegen.Quelle: blog.cloudflare.com
- Cloudflare startet Pay per Crawl als geschlossene Beta. Crawler zahlen pro Abruf oder erhalten den Statuscode 402 mit Preisangabe.Quelle: blog.cloudflare.com
OpenAI nennt für die Crawler-Berechtigungen nur „letzten Sommer“ (Beitrag vom 7. Mai 2024); das oft genannte Datum August 2023 für GPTBot stammt aus Presseberichten. Für ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, OAI-SearchBot, ChatGPT-User, Meta-ExternalAgent und CCBot gibt es Doku der Betreiber, aber kein belegtes Einführungsdatum. Stand: .
Einsatz
OpenAI signiert laut eigener Hilfeseite die Anfragen des Cloud-Browsers von ChatGPT Work nach RFC 9421 und setzt den Header Signature-Agent auf https://chatgpt.com. In Bot-Listen von CDN-Anbietern heißt dieser Datenverkehr weiterhin „ChatGPT Agent“. Web Bot Auth ist auch die Grundlage der Bot-Authentifizierung bei Pay per Crawl. Als Einschätzung lässt es sich als Ergänzung zu Reverse-DNS-Prüfung und IP-Listen verstehen.
Häufige Fehler
Signature-Agentohne Anführungszeichen senden. Cloudflare verlangt den Wert als Structured String in doppelten Anführungszeichen, zum Beispiel"https://example.com".- Nicht unterstützte Parameter oder Komponenten signieren. Laut Cloudflare scheitert die Prüfung bei den Parametern
sf,bs,key,requndname. Die Komponenten@query-paramsund@statusunterstützt Cloudflare nicht. - Die Signatur zu lange gültig lassen. Cloudflare empfiehlt kurze Intervalle als Schutz vor Replay-Angriffen. Eine Minute reiche oft aus. Das Ablaufdatum darf nicht vor dem Eintreffen der Anfrage liegen.
- Nicht-ASCII-Zeichen in signierten Komponenten verwenden. Cloudflare nennt sie als häufige Fehlerquelle bei der Prüfung.
Quellen
- Web Bot Auth (webbotauth) – IETF Datatracker, Working Groupdatatracker.ietf.org
- draft-ietf-webbotauth-httpsig-protocol-00: HTTP Message Signatures for automated traffic – IETF Datatracker (01.09.2026)datatracker.ietf.org
- RFC 9421: HTTP Message Signaturesrfc-editor.org
- Web Bot Auth – Cloudflare Docsdevelopers.cloudflare.com
- ChatGPT Work's Cloud browser allowlisting – OpenAI Help Centerhelp.openai.com
Stand: