# Meta-ExternalFetcher

Kategorie: [KI-Bots & Crawler](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/) › [Weitere KI-Bots](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/weitere-ki-bots/) · Auch genannt: meta-externalfetcher

**Meta-ExternalFetcher** ist ein Abrufdienst von Meta, der einzelne Links auf Anfrage von Nutzern lädt. Laut Meta unterstützt er Produktfunktionen rund um agentische KI, etwa wenn eine KI für Nutzer eine Website ansteuert, um eine Aufgabe zu erledigen. Meta schreibt dazu, dass er robots.txt-Regeln umgehen kann.

## Wie unterscheidet er sich von anderen Meta-Bots?

Meta dokumentiert seine Crawler gesammelt auf einer Seite. Meta-ExternalAgent crawlt für das Training von KI-Grundmodellen und das Indexieren von Inhalten, Meta-WebIndexer für die Suche in Meta AI. Beide durchsuchen das Web systematisch und lassen sich per robots.txt steuern. Der ExternalFetcher holt dagegen nur einzelne Seiten, wenn eine Person das im Moment auslöst. Er gehört damit zu den nutzergesteuerten Abrufdiensten (User-triggered Fetcher), wie sie auch andere KI-Anbieter betreiben.

Ein `Disallow` in der robots.txt sperrt die Trainings- und Such-Crawler aus. Den ExternalFetcher hält es laut Meta-Doku nicht zuverlässig fern. Wer solche Abrufe unterbinden will, braucht eine Regel auf Server- oder CDN-Ebene (Einschätzung).

## Beispiel

Im Server-Log erscheint ein Zugriff mit dem User-Agent:

```
meta-externalfetcher/1.1
```

Meta nennt diese kurze Kennung und eine längere Variante mit einem Link auf die Crawler-Dokumentation. Einzelne Bot-Verzeichnisse beschreiben den Dienst als robots.txt-konform oder über signierte Anfragen prüfbar. Metas Doku nennt dagegen eine mögliche Umgehung der robots.txt und erwähnt keine Signatur. Ein einzelner Abruf einer Produktseite, kurz nachdem jemand in Meta AI danach gefragt hat, passt zu diesem Dienst. Systematische Abrufe vieler URLs passen eher zu den Crawlern (Einschätzung).

## Häufige Fehler

- **`Disallow` als Sperre verstehen.** Meta schreibt, dass der Dienst robots.txt umgehen kann, weil er Abrufe auf Wunsch von Nutzern ausführt.
- **Änderung sofort erwarten.** Für die robots.txt-Änderungen bei Metas Crawlern nennt die Doku bis zu 24 Stunden.

## Häufige Fragen

**Hält sich Meta-ExternalFetcher an die robots.txt?**
Nicht garantiert. Meta schreibt, dass der Dienst robots.txt-Regeln umgehen kann, weil er auf Anfrage von Nutzern abruft.

**Ist Meta-ExternalFetcher ein Trainings-Crawler?**
Laut Meta nicht. Für das Training von KI-Modellen nennt Meta den Meta-ExternalAgent.

## Auf einen Blick

- **Betreiber:** Meta Platforms
- **Zweck:** Abruf einzelner Links auf Nutzeranfrage (laut Meta)
- **robots.txt-Token:** meta-externalfetcher
- **User-Agent:** meta-externalfetcher/1.1
- **Beachtet robots.txt:** kann robots.txt laut Meta umgehen
- **Doku:** [Meta Web Crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/)

Stand: 8. Oktober 2026

## KI-Bots im Vergleich

| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Google | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.com/gptbot.json) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.com/searchbot.json) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.com/chatgpt-user.json) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.com/perplexitybot.json) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.commoncrawl.org/ccbot.json) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |

Quellen: [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots); [Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07)](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler); [Perplexity: Perplexity Crawlers](https://docs.perplexity.ai/guides/bots); [Google: Google's common crawlers (last updated 2026-07-14)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers); [Google: Overview of Google crawlers and fetchers (last updated 2026-06-12)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers); [Google: Verifying Google crawlers and fetchers (IP range files)](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests); [Apple: About Applebot (2026-09-04)](https://support.apple.com/en-us/119829); [Meta: Meta Web Crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/); [Common Crawl: CCBot](https://commoncrawl.org/ccbot). Stand: 8. Oktober 2026

## Verwandte Begriffe

- [Meta-ExternalAgent](https://seo-geo-glossary.com/de/glossar/meta-externalagent/index.md)
- [Meta-WebIndexer](https://seo-geo-glossary.com/de/glossar/meta-webindexer/index.md)
- [User-triggered Fetcher (nutzerausgelöster Abruf)](https://seo-geo-glossary.com/de/glossar/user-triggered-fetcher/index.md)
- [robots.txt](https://seo-geo-glossary.com/de/glossar/robots-txt/index.md)

## Quellen

- [Meta Web Crawlers – Meta for Developers (Abschnitt Meta-ExternalFetcher, geprüft 07.10.2026)](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/meta-externalfetcher/