Pay per Crawl bezeichnet das Modell, dass ein Crawler für den Abruf von Webseiten bezahlt. Der Begriff geht auf ein gleichnamiges Feature von Cloudflare zurück. Website-Betreiber bestimmen darin, ob und zu welchem Preis KI-Crawler ihre Inhalte abrufen dürfen.
Auf einen Blick
- Art
- Bezahlmodell für Crawler-Zugriffe (Cloudflare-Feature)
- Genutzt in
- Cloudflare, geschlossene Beta
- Werte
- Allow, Charge, Block (Regel je Crawler)
- Seit
- Ankündigung Juli 2025
Stand:
Wie läuft das bei Cloudflare ab?
Cloudflare kündigte das Feature im Juli 2025 an. Laut Dokumentation befindet es sich in einer geschlossenen Beta (Stand: Oktober 2026). Der Zugang läuft über eine Anmeldung oder über den Account-Manager bei Enterprise-Kunden.
Ein Crawler, der zahlen will, schickt seine Zahlungsbereitschaft in Request-Headern mit. Bekommt er die Seite, antwortet der Server mit HTTP 200. Ist kein Zahlungsangebot dabei, liefert der Server HTTP 402 (Payment Required) samt Preisangabe im Header crawler-price. Der Crawler kann dann mit crawler-exact-price oder crawler-max-price erneut anfragen.
Betreiber vergeben pro Crawler eine von drei Regeln.
- Allow: kostenloser Zugriff
- Charge: Zugriff nur gegen Zahlung
- Block: kein Zugriff
Der Preis gilt pauschal für eine gesamte Zone. Cloudflare tritt als Merchant of Record auf, sammelt die Abrechnungen und zahlt an die Betreiber aus.
- Die IETF veröffentlicht das Robots Exclusion Protocol als RFC 9309 im Standards Track. Es legt fest, wie Crawler die Regeln einer robots.txt auslegen.Quelle: rfc-editor.org
- OpenAI führt Crawler-Berechtigungen für KI ein. Website-Betreiber können damit angeben, ob ihre Inhalte für KI-Training genutzt werden dürfen.Quelle: openai.com
- Google führt Google-Extended ein. Mit diesem Token in der robots.txt lässt sich steuern, ob Inhalte Bard und die generativen APIs von Vertex AI verbessern.Quelle: blog.google
- Nach der Umbenennung von Bard nennt die Google-Doku Gemini Apps als betroffenes Produkt von Google-Extended.Quelle: developers.google.com
- Apple stellt die Foundation Models für Apple Intelligence vor. Website-Betreiber können der Nutzung ihrer Inhalte für das Training widersprechen, laut Apple-Doku über Applebot-Extended.Quelle: machinelearning.apple.com
- Cloudflare bietet an, KI-Bots, Scraper und Crawler mit einem Klick zu blockieren.Quelle: blog.cloudflare.com
- Mit dem SearchGPT-Prototyp trennt OpenAI Suche und Training. Websites können in der Suche erscheinen, auch wenn sie das KI-Training ausschließen.Quelle: openai.com
- Google ergänzt Google-CloudVertexBot in der Crawler-Liste. Er crawlt Websites auf Wunsch der Betreiber für Vertex-AI-Agenten.Quelle: developers.google.com
- Google präzisiert nach Rückmeldungen von Publishern die Beschreibung von Google-Extended.Quelle: developers.google.com
- Cloudflare schlägt vor, dass Bots und Agenten ihre Anfragen kryptografisch signieren, auf Basis von HTTP Message Signatures (RFC 9421).Quelle: blog.cloudflare.com
- Cloudflare ändert die Voreinstellung und blockiert KI-Crawler standardmäßig, sofern Betreiber nichts anderes festlegen.Quelle: blog.cloudflare.com
- Cloudflare startet Pay per Crawl als geschlossene Beta. Crawler zahlen pro Abruf oder erhalten den Statuscode 402 mit Preisangabe.Quelle: blog.cloudflare.com
OpenAI nennt für die Crawler-Berechtigungen nur „letzten Sommer“ (Beitrag vom 7. Mai 2024); das oft genannte Datum August 2023 für GPTBot stammt aus Presseberichten. Für ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, OAI-SearchBot, ChatGPT-User, Meta-ExternalAgent und CCBot gibt es Doku der Betreiber, aber kein belegtes Einführungsdatum. Stand: .
Authentifizierung
Damit sich kein Crawler als fremder Bot ausgibt, setzt Cloudflare auf Web Bot Auth. Verifizierte Crawler signieren ihre Anfragen kryptografisch mit Ed25519 und senden die Header signature-agent, signature-input und signature mit.
Reihenfolge der Regeln
Laut Cloudflare haben WAF- und Bot-Management-Regeln Vorrang vor Pay per Crawl. Ein dort blockierter Crawler kommt auch mit Zahlungsangebot nicht durch.
Pay per Crawl und Pay per Use
Ende September 2026 hat Cloudflare ein zweites Modell vorgestellt, ebenfalls als Beta. Bei Pay per Use meldet ein KI-Anbieter jede Verwendung eines Inhalts, etwa ein Zitat in einer Antwort, und zahlt dafür. Pay per Crawl berechnet dagegen den Abruf selbst, unabhängig davon, was danach mit dem Inhalt geschieht. Laut Cloudflare bestehen beide Modelle nebeneinander, Betreiber wählen das passende.
Häufige Fehler
- Pay per Crawl als Schutz vor gesperrten Bots sehen. Laut Cloudflare haben WAF- und Bot-Management-Regeln Vorrang. Ein dort blockierter Crawler hat keinen Zugriff auf die Zone, auch wenn er zahlen würde.
- Mit sofortiger Verfügbarkeit rechnen. Die Doku beschreibt das Feature als geschlossene Beta. Der Zugang läuft über eine Anmeldung oder den Account-Manager bei Enterprise-Kunden.
Quellen
- What is pay per crawl? – Cloudflare AI Crawl Control docsdevelopers.cloudflare.com
- Introducing pay per crawl – Cloudflare Blogblog.cloudflare.com
- Pay Per Use: when AI uses your work, you should get paid – Cloudflare Blog (30.09.2026)blog.cloudflare.com
Stand: