# Pay per Crawl Kategorie: [KI-Bots & Crawler](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/) › [KI-Bots steuern & auswerten](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/ki-bots-steuern-auswerten/) **Pay per Crawl** bezeichnet das Modell, dass ein Crawler für den Abruf von Webseiten bezahlt. Der Begriff geht auf ein gleichnamiges Feature von Cloudflare zurück. Website-Betreiber bestimmen darin, ob und zu welchem Preis KI-Crawler ihre Inhalte abrufen dürfen. ## Wie läuft das bei Cloudflare ab? Cloudflare kündigte das Feature im Juli 2025 an. Laut Dokumentation befindet es sich in einer geschlossenen Beta (Stand: Oktober 2026). Der Zugang läuft über eine Anmeldung oder über den Account-Manager bei Enterprise-Kunden. Ein Crawler, der zahlen will, schickt seine Zahlungsbereitschaft in Request-Headern mit. Bekommt er die Seite, antwortet der Server mit HTTP 200. Ist kein Zahlungsangebot dabei, liefert der Server HTTP 402 (Payment Required) samt Preisangabe im Header `crawler-price`. Der Crawler kann dann mit `crawler-exact-price` oder `crawler-max-price` erneut anfragen. Betreiber vergeben pro Crawler eine von drei Regeln. - **Allow:** kostenloser Zugriff - **Charge:** Zugriff nur gegen Zahlung - **Block:** kein Zugriff Der Preis gilt pauschal für eine gesamte Zone. Cloudflare tritt als Merchant of Record auf, sammelt die Abrechnungen und zahlt an die Betreiber aus. ## Authentifizierung Damit sich kein Crawler als fremder Bot ausgibt, setzt Cloudflare auf Web Bot Auth. Verifizierte Crawler signieren ihre Anfragen kryptografisch mit Ed25519 und senden die Header `signature-agent`, `signature-input` und `signature` mit. ## Reihenfolge der Regeln Laut Cloudflare haben WAF- und Bot-Management-Regeln Vorrang vor Pay per Crawl. Ein dort blockierter Crawler kommt auch mit Zahlungsangebot nicht durch. ## Pay per Crawl und Pay per Use Ende September 2026 hat Cloudflare ein zweites Modell vorgestellt, ebenfalls als Beta. Bei Pay per Use meldet ein KI-Anbieter jede Verwendung eines Inhalts, etwa ein Zitat in einer Antwort, und zahlt dafür. Pay per Crawl berechnet dagegen den Abruf selbst, unabhängig davon, was danach mit dem Inhalt geschieht. Laut Cloudflare bestehen beide Modelle nebeneinander, Betreiber wählen das passende. ## Häufige Fehler - **Pay per Crawl als Schutz vor gesperrten Bots sehen.** Laut Cloudflare haben WAF- und Bot-Management-Regeln Vorrang. Ein dort blockierter Crawler hat keinen Zugriff auf die Zone, auch wenn er zahlen würde. - **Mit sofortiger Verfügbarkeit rechnen.** Die Doku beschreibt das Feature als geschlossene Beta. Der Zugang läuft über eine Anmeldung oder den Account-Manager bei Enterprise-Kunden. ## Auf einen Blick - **Art:** Bezahlmodell für Crawler-Zugriffe (Cloudflare-Feature) - **Genutzt in:** Cloudflare, geschlossene Beta - **Werte:** Allow, Charge, Block (Regel je Crawler) - **Seit:** Ankündigung Juli 2025 - **Doku:** [Cloudflare: What is pay per crawl?](https://developers.cloudflare.com/ai-crawl-control/features/pay-per-crawl/what-is-pay-per-crawl/) Stand: 8. Oktober 2026 ## KI-Bots: Crawler, Tokens und Steuerung - **September 2022:** Die IETF veröffentlicht das Robots Exclusion Protocol als RFC 9309 im Standards Track. Es legt fest, wie Crawler die Regeln einer robots.txt auslegen. ([Quelle](https://www.rfc-editor.org/rfc/rfc9309.html)) - **2023:** OpenAI führt Crawler-Berechtigungen für KI ein. Website-Betreiber können damit angeben, ob ihre Inhalte für KI-Training genutzt werden dürfen. ([Quelle](https://openai.com/index/approach-to-data-and-ai/)) - **28. September 2023:** Google führt Google-Extended ein. Mit diesem Token in der robots.txt lässt sich steuern, ob Inhalte Bard und die generativen APIs von Vertex AI verbessern. ([Quelle](https://blog.google/technology/ai/an-update-on-web-publisher-controls/)) - **8. Februar 2024:** Nach der Umbenennung von Bard nennt die Google-Doku Gemini Apps als betroffenes Produkt von Google-Extended. ([Quelle](https://developers.google.com/search/updates#updated-the-description-of-the-google-extended-product-token_1)) - **10. Juni 2024:** Apple stellt die Foundation Models für Apple Intelligence vor. Website-Betreiber können der Nutzung ihrer Inhalte für das Training widersprechen, laut Apple-Doku über Applebot-Extended. ([Quelle](https://machinelearning.apple.com/research/introducing-apple-foundation-models)) - **3. Juli 2024:** Cloudflare bietet an, KI-Bots, Scraper und Crawler mit einem Klick zu blockieren. ([Quelle](https://blog.cloudflare.com/declaring-your-aindependence-block-ai-bots-scrapers-and-crawlers-with-a-single-click/)) - **25. Juli 2024:** Mit dem SearchGPT-Prototyp trennt OpenAI Suche und Training. Websites können in der Suche erscheinen, auch wenn sie das KI-Training ausschließen. ([Quelle](https://openai.com/index/searchgpt-prototype/)) - **20. August 2024:** Google ergänzt Google-CloudVertexBot in der Crawler-Liste. Er crawlt Websites auf Wunsch der Betreiber für Vertex-AI-Agenten. ([Quelle](https://developers.google.com/search/updates#introducing-the-google-cloudvertexbot-crawler)) - **25. April 2025:** Google präzisiert nach Rückmeldungen von Publishern die Beschreibung von Google-Extended. ([Quelle](https://developers.google.com/search/updates#updated-the-description-of-the-google-extended-product-token)) - **15. Mai 2025:** Cloudflare schlägt vor, dass Bots und Agenten ihre Anfragen kryptografisch signieren, auf Basis von HTTP Message Signatures (RFC 9421). ([Quelle](https://blog.cloudflare.com/web-bot-auth/)) - **1. Juli 2025:** Cloudflare ändert die Voreinstellung und blockiert KI-Crawler standardmäßig, sofern Betreiber nichts anderes festlegen. ([Quelle](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/)) - **1. Juli 2025:** Cloudflare startet Pay per Crawl als geschlossene Beta. Crawler zahlen pro Abruf oder erhalten den Statuscode 402 mit Preisangabe. ([Quelle](https://blog.cloudflare.com/introducing-pay-per-crawl/)) ## Verwandte Begriffe - [CCBot (Common Crawl)](https://seo-geo-glossary.com/de/glossar/ccbot/index.md) - [Crawl-to-Referral-Verhältnis](https://seo-geo-glossary.com/de/glossar/crawl-to-referral-verhaeltnis/index.md) - [Crawl-Budget](https://seo-geo-glossary.com/de/glossar/crawl-budget/index.md) - [Web Bot Auth (signierte Bots)](https://seo-geo-glossary.com/de/glossar/web-bot-auth/index.md) - [KI-Bots blockieren](https://seo-geo-glossary.com/de/glossar/ki-bots-blockieren/index.md) ## Quellen - [What is pay per crawl? – Cloudflare AI Crawl Control docs](https://developers.cloudflare.com/ai-crawl-control/features/pay-per-crawl/what-is-pay-per-crawl/) - [Introducing pay per crawl – Cloudflare Blog](https://blog.cloudflare.com/introducing-pay-per-crawl/) - [Pay Per Use: when AI uses your work, you should get paid – Cloudflare Blog (30.09.2026)](https://blog.cloudflare.com/pay-per-use/) --- Stand: 8. Oktober 2026 URL: https://seo-geo-glossary.com/de/glossar/pay-per-crawl/