Meta-ExternalFetcher ist ein Abrufdienst von Meta, der einzelne Links auf Anfrage von Nutzern lädt. Laut Meta unterstützt er Produktfunktionen rund um agentische KI, etwa wenn eine KI für Nutzer eine Website ansteuert, um eine Aufgabe zu erledigen. Meta schreibt dazu, dass er robots.txt-Regeln umgehen kann.
Auf einen Blick
- Betreiber
- Meta Platforms
- Zweck
- Abruf einzelner Links auf Nutzeranfrage (laut Meta)
- robots.txt-Token
meta-externalfetcher- User-Agent
meta-externalfetcher/1.1- Beachtet robots.txt
- kann robots.txt laut Meta umgehen
Stand:
Wie unterscheidet er sich von anderen Meta-Bots?
Meta dokumentiert seine Crawler gesammelt auf einer Seite. Meta-ExternalAgent crawlt für das Training von KI-Grundmodellen und das Indexieren von Inhalten, Meta-WebIndexer für die Suche in Meta AI. Beide durchsuchen das Web systematisch und lassen sich per robots.txt steuern. Der ExternalFetcher holt dagegen nur einzelne Seiten, wenn eine Person das im Moment auslöst. Er gehört damit zu den nutzergesteuerten Abrufdiensten (User-triggered Fetcher), wie sie auch andere KI-Anbieter betreiben.
Ein Disallow in der robots.txt sperrt die Trainings- und Such-Crawler aus. Den ExternalFetcher hält es laut Meta-Doku nicht zuverlässig fern. Wer solche Abrufe unterbinden will, braucht eine Regel auf Server- oder CDN-Ebene (Einschätzung).
| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) | |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |
Auswahl von zehn KI-Bots großer Anbieter, keine vollständige Liste. Alle Werte stammen aus der Dokumentation des jeweiligen Betreibers (Stand 8. Oktober 2026). Ob ein Bot sich tatsächlich an die robots.txt hält, sagt die Tabelle nicht; sie gibt nur die Angaben der Betreiber wieder. Ein User-Agent lässt sich fälschen, echte Zugriffe erkennt man über die veröffentlichten IP-Listen oder Reverse-DNS. Quellen: OpenAI: Overview of OpenAI Crawlers; Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07); Perplexity: Perplexity Crawlers; Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google: Verifying Google crawlers and fetchers (IP range files); Apple: About Applebot (2026-09-04); Meta: Meta Web Crawlers; Common Crawl: CCBot. Stand: .
Beispiel
Im Server-Log erscheint ein Zugriff mit dem User-Agent:
meta-externalfetcher/1.1
Meta nennt diese kurze Kennung und eine längere Variante mit einem Link auf die Crawler-Dokumentation. Einzelne Bot-Verzeichnisse beschreiben den Dienst als robots.txt-konform oder über signierte Anfragen prüfbar. Metas Doku nennt dagegen eine mögliche Umgehung der robots.txt und erwähnt keine Signatur. Ein einzelner Abruf einer Produktseite, kurz nachdem jemand in Meta AI danach gefragt hat, passt zu diesem Dienst. Systematische Abrufe vieler URLs passen eher zu den Crawlern (Einschätzung).
Häufige Fehler
Disallowals Sperre verstehen. Meta schreibt, dass der Dienst robots.txt umgehen kann, weil er Abrufe auf Wunsch von Nutzern ausführt.- Änderung sofort erwarten. Für die robots.txt-Änderungen bei Metas Crawlern nennt die Doku bis zu 24 Stunden.
Häufige Fragen
Hält sich Meta-ExternalFetcher an die robots.txt? Nicht garantiert. Meta schreibt, dass der Dienst robots.txt-Regeln umgehen kann, weil er auf Anfrage von Nutzern abruft.
Ist Meta-ExternalFetcher ein Trainings-Crawler? Laut Meta nicht. Für das Training von KI-Modellen nennt Meta den Meta-ExternalAgent.
Quellen
- Meta Web Crawlers – Meta for Developers (Abschnitt Meta-ExternalFetcher, geprüft 07.10.2026)developers.facebook.com
Stand: