# Meta-WebIndexer

Kategorie: [KI-Bots & Crawler](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/) › [Weitere KI-Bots](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/weitere-ki-bots/) · Auch genannt: meta-webindexer

**Meta-WebIndexer** ist ein Crawler von Meta, der laut Meta die Qualität der Suchergebnisse von Meta AI verbessern soll. Wer ihn in der robots.txt zulässt, hilft Meta nach eigener Aussage dabei, Inhalte in Antworten von Meta AI zu zitieren und zu verlinken.

## Wie unterscheidet er sich von Meta-ExternalAgent?

Meta dokumentiert mehrere Crawler auf derselben Seite. Meta-ExternalAgent dient laut Meta dem Training von KI-Grundmodellen und dem direkten Indexieren von Inhalten für Produkte. Der WebIndexer ist für die Suche in Meta AI zuständig. Beide haben eigene User-Agent-Namen und lassen sich in der robots.txt getrennt regeln. Änderungen an der robots.txt wirken laut Meta wegen Zwischenspeicherung erst nach bis zu 24 Stunden.

## Beispiel

```robots
User-agent: meta-webindexer
Allow: /

User-agent: meta-externalagent
Disallow: /
```

Damit darf der Such-Crawler die Website abrufen, der Trainings-Crawler bleibt ausgesperrt.

Der User-Agent enthält laut Meta die Kennung `meta-webindexer/1.1`.

## Häufige Fehler

- **Alle Meta-Crawler gemeinsam sperren.** Ein Disallow für den Such-Crawler schließt ihn aus. Laut Meta hilft seine Freigabe dabei, dass Meta AI Inhalte zitiert und verlinkt.
- **Änderung sofort erwarten.** Meta nennt bis zu 24 Stunden, bis eine geänderte robots.txt wirkt.

## Auf einen Blick

- **Betreiber:** Meta Platforms
- **Zweck:** Verbesserung der Suchergebnisse von Meta AI (laut Meta)
- **robots.txt-Token:** meta-webindexer
- **User-Agent:** meta-webindexer/1.1
- **Beachtet robots.txt:** per robots.txt steuerbar; Änderungen brauchen laut Meta bis zu 24 Stunden
- **Doku:** [Meta Web Crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/)

Stand: 8. Oktober 2026

## KI-Bots im Vergleich

| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Google | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.com/gptbot.json) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.com/searchbot.json) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.com/chatgpt-user.json) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.com/perplexitybot.json) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.commoncrawl.org/ccbot.json) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |

Quellen: [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots); [Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07)](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler); [Perplexity: Perplexity Crawlers](https://docs.perplexity.ai/guides/bots); [Google: Google's common crawlers (last updated 2026-07-14)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers); [Google: Overview of Google crawlers and fetchers (last updated 2026-06-12)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers); [Google: Verifying Google crawlers and fetchers (IP range files)](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests); [Apple: About Applebot (2026-09-04)](https://support.apple.com/en-us/119829); [Meta: Meta Web Crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/); [Common Crawl: CCBot](https://commoncrawl.org/ccbot). Stand: 8. Oktober 2026

## Verwandte Begriffe

- [Meta-ExternalAgent](https://seo-geo-glossary.com/de/glossar/meta-externalagent/index.md)
- [KI-Crawler (AI Crawler)](https://seo-geo-glossary.com/de/glossar/ki-crawler/index.md)
- [Crawler](https://seo-geo-glossary.com/de/glossar/crawler/index.md)
- [robots.txt](https://seo-geo-glossary.com/de/glossar/robots-txt/index.md)
- [Meta-ExternalFetcher](https://seo-geo-glossary.com/de/glossar/meta-externalfetcher/index.md)

## Quellen

- [Meta Web Crawlers – Meta for Developers (aktualisiert 21.05.2026, im Browser geprüft 07.10.2026)](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/meta-webindexer/