KI-Bots blockieren heißt, einzelnen KI-Crawlern den Zugriff auf eine Website zu verweigern. Üblich ist die robots.txt, bei Bedarf ergänzt durch Regeln auf dem Server oder am CDN.
Auf einen Blick
- Art
- Maßnahme (robots.txt-Regeln, ergänzt durch Server- oder CDN-Regeln)
- Wirkt auf
- KI-Crawler und nutzerausgelöste Abrufe
- Werte
- Token je Bot, etwa
GPTBot,ClaudeBot,OAI-SearchBot
Stand:
Wie geht das mit der robots.txt?
Für jeden Bot gibt es einen eigenen Eintrag mit dessen Token, zum Beispiel GPTBot, ClaudeBot oder OAI-SearchBot. Die Betreiber trennen ihre Bots nach Zweck. OpenAI schreibt, dass sich Training und Suche unabhängig voneinander einstellen lassen. Wer das Training sperrt, kann also in der ChatGPT-Suche bleiben. Einige Drittquellen ordnen die Bots anders zu, etwa GPTBot auch der Suche oder Google-Extended den Such-Bots.
| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) | |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |
Auswahl von zehn KI-Bots großer Anbieter, keine vollständige Liste. Alle Werte stammen aus der Dokumentation des jeweiligen Betreibers (Stand 8. Oktober 2026). Ob ein Bot sich tatsächlich an die robots.txt hält, sagt die Tabelle nicht; sie gibt nur die Angaben der Betreiber wieder. Ein User-Agent lässt sich fälschen, echte Zugriffe erkennt man über die veröffentlichten IP-Listen oder Reverse-DNS. Quellen: OpenAI: Overview of OpenAI Crawlers; Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07); Perplexity: Perplexity Crawlers; Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google: Verifying Google crawlers and fetchers (IP range files); Apple: About Applebot (2026-09-04); Meta: Meta Web Crawlers; Common Crawl: CCBot. Stand: .
Warum blockieren Websites KI-Bots?
Neben dem Schutz der Inhalte spielen Kosten eine Rolle. Read the Docs berichtete 2024, dass ein einzelner KI-Crawler im Mai 73 TB heruntergeladen und damit über 5.000 US-Dollar Bandbreitenkosten verursacht hatte. Nachdem das Projekt die von Cloudflare als KI-Bots erkannten Crawler gesperrt hatte, sank die Bandbreite für Downloads um 75 %.
Wo liegen die Grenzen?
Die robots.txt ist laut RFC 9309 keine Zugriffsberechtigung. Sie wirkt nur bei Bots, die sie beachten. Bei nutzerausgelösten Abrufen gilt das nicht überall. OpenAI weist darauf hin, dass die Regeln bei ChatGPT-User möglicherweise nicht greifen, Google nennt für seine Fetcher dasselbe. Anthropic gibt an, dass auch Claude-User die robots.txt beachtet.
Eine Sperre kann außerdem Sichtbarkeit kosten. Wer einen Such-Bot ausschließt, taucht laut OpenAI nicht in den ChatGPT-Suchantworten auf.
Beispiel
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
Beide Trainings-Crawler sind ausgeschlossen. Such- und Nutzer-Bots dürfen weiter zugreifen.
Checkliste
- Den Zweck jedes Bots in der Betreiber-Dokumentation nachlesen (Training, Suche oder Nutzerabruf). OpenAI schreibt, dass die Einstellungen für GPTBot und OAI-SearchBot unabhängig voneinander sind.
- Das robots.txt-Token des Bots exakt aus der Betreiber-Dokumentation übernehmen.
- Den Such-Bot nur sperren, wenn die Seite nicht in den Antworten der KI-Suche erscheinen soll. Laut OpenAI fehlen Seiten, die OAI-SearchBot ausschließen, in den ChatGPT-Suchantworten.
- Die robots.txt im Hauptverzeichnis der Domain ablegen (
/robots.txt), so sieht es RFC 9309 vor. - Nach der Änderung die Wirkungsdauer einplanen. OpenAI nennt für OAI-SearchBot etwa 24 Stunden, DuckDuckGo für DuckAssistBot 72 Stunden.
- Bei nutzerausgelösten Abrufen nicht allein auf die robots.txt verlassen, weil OpenAI, Google und Perplexity hier Ausnahmen nennen.
- Zugriffe im Server-Log mit den veröffentlichten IP-Listen der Betreiber abgleichen. IP-Adressen können personenbezogene Daten sein (EuGH, Urteil vom 19.10.2016, C-582/14, Breyer). Keine Rechtsberatung.
Häufige Fragen
Schützt die robots.txt Inhalte wirklich? Nur gegenüber Bots, die sich daran halten. Zugriffsschutz braucht Regeln auf dem Server.
Mehr dazu im searchVIU-Blog
Quellen
- RFC 9309: Robots Exclusion Protocol – IETFrfc-editor.org
- Overview of OpenAI Crawlers – OpenAIdevelopers.openai.com
- Does Anthropic crawl data from the web, and how can site owners block the crawler? – Claude Help Centersupport.claude.com
- Google User-Triggered Fetchers – Google Search Centraldevelopers.google.com
- Das Bot-Dilemma – Wenn Bot-Schutz zur Kunden-Abwehr wird – searchVIU-Blog (2025)searchviu.com
- AI crawlers need to be more respectful – Read the Docs Blog (2024)about.readthedocs.com
- Urteil C-582/14 Breyer – EuGHeur-lex.europa.eu
Stand: