Meta-WebIndexer ist ein Crawler von Meta, der laut Meta die Qualität der Suchergebnisse von Meta AI verbessern soll. Wer ihn in der robots.txt zulässt, hilft Meta nach eigener Aussage dabei, Inhalte in Antworten von Meta AI zu zitieren und zu verlinken.
Auf einen Blick
- Betreiber
- Meta Platforms
- Zweck
- Verbesserung der Suchergebnisse von Meta AI (laut Meta)
- robots.txt-Token
meta-webindexer- User-Agent
meta-webindexer/1.1- Beachtet robots.txt
- per robots.txt steuerbar; Änderungen brauchen laut Meta bis zu 24 Stunden
Stand:
Wie unterscheidet er sich von Meta-ExternalAgent?
Meta dokumentiert mehrere Crawler auf derselben Seite. Meta-ExternalAgent dient laut Meta dem Training von KI-Grundmodellen und dem direkten Indexieren von Inhalten für Produkte. Der WebIndexer ist für die Suche in Meta AI zuständig. Beide haben eigene User-Agent-Namen und lassen sich in der robots.txt getrennt regeln. Änderungen an der robots.txt wirken laut Meta wegen Zwischenspeicherung erst nach bis zu 24 Stunden.
| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) | |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |
Auswahl von zehn KI-Bots großer Anbieter, keine vollständige Liste. Alle Werte stammen aus der Dokumentation des jeweiligen Betreibers (Stand 8. Oktober 2026). Ob ein Bot sich tatsächlich an die robots.txt hält, sagt die Tabelle nicht; sie gibt nur die Angaben der Betreiber wieder. Ein User-Agent lässt sich fälschen, echte Zugriffe erkennt man über die veröffentlichten IP-Listen oder Reverse-DNS. Quellen: OpenAI: Overview of OpenAI Crawlers; Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07); Perplexity: Perplexity Crawlers; Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google: Verifying Google crawlers and fetchers (IP range files); Apple: About Applebot (2026-09-04); Meta: Meta Web Crawlers; Common Crawl: CCBot. Stand: .
Beispiel
User-agent: meta-webindexer
Allow: /
User-agent: meta-externalagent
Disallow: /
Damit darf der Such-Crawler die Website abrufen, der Trainings-Crawler bleibt ausgesperrt.
Der User-Agent enthält laut Meta die Kennung meta-webindexer/1.1.
Häufige Fehler
- Alle Meta-Crawler gemeinsam sperren. Ein Disallow für den Such-Crawler schließt ihn aus. Laut Meta hilft seine Freigabe dabei, dass Meta AI Inhalte zitiert und verlinkt.
- Änderung sofort erwarten. Meta nennt bis zu 24 Stunden, bis eine geänderte robots.txt wirkt.
Quellen
Stand: