# Web Bot Auth (signierte Bots)

Kategorie: [KI-Bots & Crawler](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/) › [KI-Bots steuern & auswerten](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/ki-bots-steuern-auswerten/) · Auch genannt: signierte Bots

**Web Bot Auth** ist ein Verfahren, mit dem sich automatisierte Clients wie Crawler oder KI-Agenten gegenüber Websites per kryptografischer Signatur ausweisen. Websites erkennen dadurch echte Zugriffe eines Betreibers, ohne sich auf User-Agent-Namen oder IP-Listen zu verlassen.

## Ziel der Standardisierung

Die IETF-Arbeitsgruppe webbotauth will standardisierte kryptografische Methoden schaffen, damit sich Bots bei Websites authentifizieren. Sie nennt Lücken bei heutigen Ansätzen wie IP-Allowlists und API-Schlüsseln. Im Geltungsbereich der Charter liegen Such-Crawler, Web-Archivierer, Link-Checker, KI-Trainings-Crawler und Agenten, die im Auftrag von Endnutzern handeln. Die Gruppe nennt als Ziele Schutz vor Imitation, Zugriffskontrolle und unterschiedliche Behandlung von automatisiertem und menschlichem Traffic.

Technische Grundlage ist RFC 9421 (HTTP Message Signatures) vom Februar 2024. Der Standard beschreibt, wie sich Bestandteile einer HTTP-Nachricht signieren und prüfen lassen.

## Wie funktioniert es bei Cloudflare?

Cloudflare beschreibt vier Schritte für Bot-Betreiber.

1. Ein Ed25519-Schlüsselpaar erzeugen. Der öffentliche Schlüssel liegt im JWK-Format vor.
2. Ein Schlüsselverzeichnis unter `/.well-known/http-message-signatures-directory` per HTTPS veröffentlichen.
3. Den Bot samt Verzeichnis-URL bei Cloudflare registrieren.
4. Jede Anfrage mit drei Headern versehen.

| Header | Inhalt |
|---|---|
| `Signature-Input` | Metadaten wie Schlüssel-ID, Ablauf und signierte Komponenten |
| `Signature` | die Signatur selbst |
| `Signature-Agent` | URL des Schlüsselverzeichnisses |

## Stand der Spezifikation

Seit September 2026 führt die Arbeitsgruppe das Protokoll als eigenen Entwurf (`draft-ietf-webbotauth-httpsig-protocol`). Autoren sind Mitarbeiter von Cloudflare und Google, angestrebt ist ein Standard. Ein RFC ist daraus noch nicht geworden (Stand Oktober 2026). Cloudflare setzt außerdem nur einen Teil der Komponenten aus RFC 9421 um. Details können sich deshalb noch ändern.

## Einsatz

OpenAI signiert laut eigener Hilfeseite die Anfragen des Cloud-Browsers von ChatGPT Work nach RFC 9421 und setzt den Header `Signature-Agent` auf `https://chatgpt.com`. In Bot-Listen von CDN-Anbietern heißt dieser Datenverkehr weiterhin „ChatGPT Agent“. Web Bot Auth ist auch die Grundlage der Bot-Authentifizierung bei Pay per Crawl. Als Einschätzung lässt es sich als Ergänzung zu Reverse-DNS-Prüfung und IP-Listen verstehen.

## Häufige Fehler

- **`Signature-Agent` ohne Anführungszeichen senden.** Cloudflare verlangt den Wert als Structured String in doppelten Anführungszeichen, zum Beispiel `"https://example.com"`.
- **Nicht unterstützte Parameter oder Komponenten signieren.** Laut Cloudflare scheitert die Prüfung bei den Parametern `sf`, `bs`, `key`, `req` und `name`. Die Komponenten `@query-params` und `@status` unterstützt Cloudflare nicht.
- **Die Signatur zu lange gültig lassen.** Cloudflare empfiehlt kurze Intervalle als Schutz vor Replay-Angriffen. Eine Minute reiche oft aus. Das Ablaufdatum darf nicht vor dem Eintreffen der Anfrage liegen.
- **Nicht-ASCII-Zeichen in signierten Komponenten verwenden.** Cloudflare nennt sie als häufige Fehlerquelle bei der Prüfung.

## Auf einen Blick

- **Herausgeber:** IETF-Arbeitsgruppe webbotauth (Autoren bei Cloudflare und Google)
- **Verbindet:** Bots und KI-Agenten mit Websites
- **Status:** Internet-Draft, Standards Track angestrebt, noch kein RFC
- **Version:** draft-ietf-webbotauth-httpsig-protocol-00 (01.09.2026)
- **Spezifikation:** [IETF-Draft, baut auf RFC 9421 auf](https://datatracker.ietf.org/doc/draft-ietf-webbotauth-httpsig-protocol/)

Stand: 8. Oktober 2026

## KI-Bots: Crawler, Tokens und Steuerung

- **September 2022:** Die IETF veröffentlicht das Robots Exclusion Protocol als RFC 9309 im Standards Track. Es legt fest, wie Crawler die Regeln einer robots.txt auslegen. ([Quelle](https://www.rfc-editor.org/rfc/rfc9309.html))
- **2023:** OpenAI führt Crawler-Berechtigungen für KI ein. Website-Betreiber können damit angeben, ob ihre Inhalte für KI-Training genutzt werden dürfen. ([Quelle](https://openai.com/index/approach-to-data-and-ai/))
- **28. September 2023:** Google führt Google-Extended ein. Mit diesem Token in der robots.txt lässt sich steuern, ob Inhalte Bard und die generativen APIs von Vertex AI verbessern. ([Quelle](https://blog.google/technology/ai/an-update-on-web-publisher-controls/))
- **8. Februar 2024:** Nach der Umbenennung von Bard nennt die Google-Doku Gemini Apps als betroffenes Produkt von Google-Extended. ([Quelle](https://developers.google.com/search/updates#updated-the-description-of-the-google-extended-product-token_1))
- **10. Juni 2024:** Apple stellt die Foundation Models für Apple Intelligence vor. Website-Betreiber können der Nutzung ihrer Inhalte für das Training widersprechen, laut Apple-Doku über Applebot-Extended. ([Quelle](https://machinelearning.apple.com/research/introducing-apple-foundation-models))
- **3. Juli 2024:** Cloudflare bietet an, KI-Bots, Scraper und Crawler mit einem Klick zu blockieren. ([Quelle](https://blog.cloudflare.com/declaring-your-aindependence-block-ai-bots-scrapers-and-crawlers-with-a-single-click/))
- **25. Juli 2024:** Mit dem SearchGPT-Prototyp trennt OpenAI Suche und Training. Websites können in der Suche erscheinen, auch wenn sie das KI-Training ausschließen. ([Quelle](https://openai.com/index/searchgpt-prototype/))
- **20. August 2024:** Google ergänzt Google-CloudVertexBot in der Crawler-Liste. Er crawlt Websites auf Wunsch der Betreiber für Vertex-AI-Agenten. ([Quelle](https://developers.google.com/search/updates#introducing-the-google-cloudvertexbot-crawler))
- **25. April 2025:** Google präzisiert nach Rückmeldungen von Publishern die Beschreibung von Google-Extended. ([Quelle](https://developers.google.com/search/updates#updated-the-description-of-the-google-extended-product-token))
- **15. Mai 2025:** Cloudflare schlägt vor, dass Bots und Agenten ihre Anfragen kryptografisch signieren, auf Basis von HTTP Message Signatures (RFC 9421). ([Quelle](https://blog.cloudflare.com/web-bot-auth/))
- **1. Juli 2025:** Cloudflare ändert die Voreinstellung und blockiert KI-Crawler standardmäßig, sofern Betreiber nichts anderes festlegen. ([Quelle](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/))
- **1. Juli 2025:** Cloudflare startet Pay per Crawl als geschlossene Beta. Crawler zahlen pro Abruf oder erhalten den Statuscode 402 mit Preisangabe. ([Quelle](https://blog.cloudflare.com/introducing-pay-per-crawl/))

## Verwandte Begriffe

- [KI-Bots blockieren](https://seo-geo-glossary.com/de/glossar/ki-bots-blockieren/index.md)
- [Scraper](https://seo-geo-glossary.com/de/glossar/scraper/index.md)
- [Crawler](https://seo-geo-glossary.com/de/glossar/crawler/index.md)
- [Bot-Verifizierung](https://seo-geo-glossary.com/de/glossar/bot-verifizierung/index.md)
- [Fake-Googlebot](https://seo-geo-glossary.com/de/glossar/fake-googlebot/index.md)

## Quellen

- [Web Bot Auth (webbotauth) – IETF Datatracker, Working Group](https://datatracker.ietf.org/wg/webbotauth/about/)
- [draft-ietf-webbotauth-httpsig-protocol-00: HTTP Message Signatures for automated traffic – IETF Datatracker (01.09.2026)](https://datatracker.ietf.org/doc/draft-ietf-webbotauth-httpsig-protocol/)
- [RFC 9421: HTTP Message Signatures](https://www.rfc-editor.org/rfc/rfc9421.html)
- [Web Bot Auth – Cloudflare Docs](https://developers.cloudflare.com/bots/concepts/bot/verified-bots/web-bot-auth/)
- [ChatGPT Work's Cloud browser allowlisting – OpenAI Help Center](https://help.openai.com/en/articles/11845367-chatgpt-agent-allowlisting)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/web-bot-auth/