Meta-ExternalAgent ist ein Web-Crawler von Meta (Facebook, Instagram, WhatsApp). Laut Meta ruft er Webseiten ab, etwa um KI-Basismodelle zu trainieren oder Produkte zu verbessern. Er lässt sich über die robots.txt steuern.
Auf einen Blick
- Betreiber
- Meta Platforms
- Zweck
- Training von KI-Basismodellen, Produktverbesserung (laut Meta)
- robots.txt-Token
meta-externalagent- User-Agent
meta-externalagent/1.1- Beachtet robots.txt
- per robots.txt sperrbar; Änderungen brauchen laut Meta bis zu 24 Stunden
Stand:
Abgrenzung zu Meta-WebIndexer
Meta beschreibt auf derselben Dokuseite einen zweiten Crawler, Meta-WebIndexer. Er soll die Qualität der Suchergebnisse von Meta AI verbessern. Laut Meta hilft eine Freigabe dieses Crawlers dabei, dass Meta AI Inhalte in Antworten zitiert und verlinkt. Beide Crawler haben eigene User-Agent-Namen und lassen sich getrennt regeln. Eine Sperre von Meta-ExternalAgent gilt deshalb nicht automatisch für den WebIndexer.
| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) | |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.) |
| Meta-ExternalAgent (dieser Begriff) | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |
Auswahl von zehn KI-Bots großer Anbieter, keine vollständige Liste. Alle Werte stammen aus der Dokumentation des jeweiligen Betreibers (Stand 8. Oktober 2026). Ob ein Bot sich tatsächlich an die robots.txt hält, sagt die Tabelle nicht; sie gibt nur die Angaben der Betreiber wieder. Ein User-Agent lässt sich fälschen, echte Zugriffe erkennt man über die veröffentlichten IP-Listen oder Reverse-DNS. Quellen: OpenAI: Overview of OpenAI Crawlers; Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07); Perplexity: Perplexity Crawlers; Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google: Verifying Google crawlers and fetchers (IP range files); Apple: About Applebot (2026-09-04); Meta: Meta Web Crawlers; Common Crawl: CCBot. Stand: .
Beispiel
Mit diesem Eintrag in der robots.txt schließt eine Website den Crawler komplett aus:
User-agent: meta-externalagent
Disallow: /
Wer nur einzelne Bereiche sperren will, trägt statt / den jeweiligen Pfad ein, zum Beispiel /intern/. Meta weist darauf hin, dass seine Crawler die robots.txt bis zu 24 Stunden zwischenspeichern können. Eine Änderung wirkt deshalb nicht sofort.
Worauf Betreiber achten sollten
Die robots.txt ist eine Bitte, die sich ein Crawler zu eigen machen muss. Ob und wie schnell Zugriffe nach einer Änderung enden, zeigt der Blick in die Server-Logfiles. Dort taucht der Crawler als meta-externalagent/1.1 auf, daneben gibt es eine Variante mit angehängtem Verweis auf die Meta-Dokumentation.
Häufige Fehler
- Änderung sofort erwarten. Meta bittet, bis zu 24 Stunden für das Wirksamwerden von robots.txt-Änderungen einzuplanen.
- Nur einen Meta-Crawler regeln. Meta führt Meta-ExternalAgent, Meta-WebIndexer und Meta-ExternalFetcher unter eigenen User-Agent-Namen auf. Ein Eintrag für
meta-externalagentnennt die beiden anderen nicht.
Quellen
- Meta Web Crawlers – Meta for Developersdevelopers.facebook.com
Stand: