Ein User-triggered Fetcher (nutzerausgelöster Abruf) ist ein automatisches Programm, das eine Seite abruft, weil eine Person das in einem Dienst angestoßen hat. Es holt eine konkrete URL und folgt keiner eigenen Crawl-Planung.
Auf einen Blick
- Art
- Abrufart (von Nutzern ausgelöst, einzelne URL)
- Wirkt auf
- genau die angeforderte Seite
- Werte
ChatGPT-User,Claude-User,Perplexity-User
Stand:
Wie verhalten sich User-triggered Fetcher gegenüber robots.txt?
Das hängt vom Betreiber ab. Google schreibt, solche Abrufe ignorierten robots.txt-Regeln in der Regel, weil ein Nutzer sie angefordert hat. OpenAI weist für ChatGPT-User darauf hin, dass robots.txt-Regeln möglicherweise nicht greifen. Auch Perplexity-User hält sich laut Perplexity im Allgemeinen nicht an robots.txt. Anthropic gibt dagegen an, dass Claude-User robots.txt beachtet.
Wer einen solchen Abruf verhindern will, kann deshalb nicht überall auf die robots.txt vertrauen. Dann bleiben Zugriffsregeln auf dem Server oder am CDN.
| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) | |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |
Auswahl von zehn KI-Bots großer Anbieter, keine vollständige Liste. Alle Werte stammen aus der Dokumentation des jeweiligen Betreibers (Stand 8. Oktober 2026). Ob ein Bot sich tatsächlich an die robots.txt hält, sagt die Tabelle nicht; sie gibt nur die Angaben der Betreiber wieder. Ein User-Agent lässt sich fälschen, echte Zugriffe erkennt man über die veröffentlichten IP-Listen oder Reverse-DNS. Quellen: OpenAI: Overview of OpenAI Crawlers; Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07); Perplexity: Perplexity Crawlers; Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google: Verifying Google crawlers and fetchers (IP range files); Apple: About Applebot (2026-09-04); Meta: Meta Web Crawlers; Common Crawl: CCBot. Stand: .
Welche Beispiele gibt es?
Bei Google gehören Google Read Aloud, Google Site Verifier, Gemini Notebook und Google-Agent zu den Fetchern, die Nutzer auslösen. Bei den KI-Anbietern sind es ChatGPT-User, Claude-User und Perplexity-User.
Beispiel
Jemand bittet einen KI-Assistenten, eine Produktseite zusammenzufassen. Der Assistent ruft die URL einmal ab. Im Server-Log erscheint ein einzelner Zugriff mit dem User-Agent des Dienstes.
Häufige Fragen
Ist ein User-triggered Fetcher ein Crawler? Nach Googles Einteilung nicht. Crawler laufen selbstständig, Fetcher rufen auf Anforderung ab.
Quellen
- Google User-Triggered Fetchers – Google Search Centraldevelopers.google.com
- Overview of OpenAI Crawlers – OpenAIdevelopers.openai.com
- Perplexity Crawlers – Perplexity Docsdocs.perplexity.ai
- Does Anthropic crawl data from the web, and how can site owners block the crawler? – Claude Help Centersupport.claude.com
Stand: