PerplexityBot ist der Crawler der KI-Suchmaschine Perplexity. Laut Perplexity erfasst er Websites, damit sie in den Suchergebnissen von Perplexity angezeigt und verlinkt werden können. Für das Training von KI-Foundation-Models setzt Perplexity ihn nach eigener Aussage nicht ein.
Auf einen Blick
- Betreiber
- Perplexity
- Zweck
- Websites in den Suchergebnissen von Perplexity anzeigen, laut Perplexity kein Training
- robots.txt-Token
PerplexityBot- Beachtet robots.txt
- über robots.txt steuerbar, eine ausdrückliche Befolgungszusage fehlt in der Doku
Stand:
Wie identifiziert sich PerplexityBot?
Perplexity dokumentiert diesen User-Agent:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Die IP-Adressen veröffentlicht Perplexity als JSON-Datei unter perplexity.com/perplexitybot.json. Weil sich ein User-Agent fälschen lässt, ist der Abgleich mit dieser Liste der verlässlichere Weg, echte Zugriffe im Logfile zu erkennen.
Neben PerplexityBot gibt es Perplexity-User. Dieser Fetcher ruft Seiten ab, wenn eine Person in Perplexity eine Frage stellt, und ignoriert laut Perplexity robots.txt-Regeln in der Regel, weil der Abruf von einem Nutzer ausgeht.
| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) | |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| PerplexityBot (dieser Begriff) | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |
Auswahl von zehn KI-Bots großer Anbieter, keine vollständige Liste. Alle Werte stammen aus der Dokumentation des jeweiligen Betreibers (Stand 8. Oktober 2026). Ob ein Bot sich tatsächlich an die robots.txt hält, sagt die Tabelle nicht; sie gibt nur die Angaben der Betreiber wieder. Ein User-Agent lässt sich fälschen, echte Zugriffe erkennt man über die veröffentlichten IP-Listen oder Reverse-DNS. Quellen: OpenAI: Overview of OpenAI Crawlers; Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07); Perplexity: Perplexity Crawlers; Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google: Verifying Google crawlers and fetchers (IP range files); Apple: About Applebot (2026-09-04); Meta: Meta Web Crawlers; Common Crawl: CCBot. Stand: .
Steuerung per robots.txt
PerplexityBot lässt sich über sein Token in der robots.txt ausschließen:
User-agent: PerplexityBot
Disallow: /
Perplexity gibt an, dass es bis zu 24 Stunden dauern kann, bis Änderungen an der robots.txt berücksichtigt werden. Wer in den Suchergebnissen von Perplexity erscheinen will, sollte PerplexityBot laut Perplexity in der robots.txt erlauben und Anfragen aus den veröffentlichten IP-Bereichen zulassen. Abrufe durch Perplexity-User erfasst die Regel für PerplexityBot nicht.
- Die IETF veröffentlicht das Robots Exclusion Protocol als RFC 9309 im Standards Track. Es legt fest, wie Crawler die Regeln einer robots.txt auslegen.Quelle: rfc-editor.org
- OpenAI führt Crawler-Berechtigungen für KI ein. Website-Betreiber können damit angeben, ob ihre Inhalte für KI-Training genutzt werden dürfen.Quelle: openai.com
- Google führt Google-Extended ein. Mit diesem Token in der robots.txt lässt sich steuern, ob Inhalte Bard und die generativen APIs von Vertex AI verbessern.Quelle: blog.google
- Nach der Umbenennung von Bard nennt die Google-Doku Gemini Apps als betroffenes Produkt von Google-Extended.Quelle: developers.google.com
- Apple stellt die Foundation Models für Apple Intelligence vor. Website-Betreiber können der Nutzung ihrer Inhalte für das Training widersprechen, laut Apple-Doku über Applebot-Extended.Quelle: machinelearning.apple.com
- Cloudflare bietet an, KI-Bots, Scraper und Crawler mit einem Klick zu blockieren.Quelle: blog.cloudflare.com
- Mit dem SearchGPT-Prototyp trennt OpenAI Suche und Training. Websites können in der Suche erscheinen, auch wenn sie das KI-Training ausschließen.Quelle: openai.com
- Google ergänzt Google-CloudVertexBot in der Crawler-Liste. Er crawlt Websites auf Wunsch der Betreiber für Vertex-AI-Agenten.Quelle: developers.google.com
- Google präzisiert nach Rückmeldungen von Publishern die Beschreibung von Google-Extended.Quelle: developers.google.com
- Cloudflare schlägt vor, dass Bots und Agenten ihre Anfragen kryptografisch signieren, auf Basis von HTTP Message Signatures (RFC 9421).Quelle: blog.cloudflare.com
- Cloudflare ändert die Voreinstellung und blockiert KI-Crawler standardmäßig, sofern Betreiber nichts anderes festlegen.Quelle: blog.cloudflare.com
- Cloudflare startet Pay per Crawl als geschlossene Beta. Crawler zahlen pro Abruf oder erhalten den Statuscode 402 mit Preisangabe.Quelle: blog.cloudflare.com
OpenAI nennt für die Crawler-Berechtigungen nur „letzten Sommer“ (Beitrag vom 7. Mai 2024); das oft genannte Datum August 2023 für GPTBot stammt aus Presseberichten. Für ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, OAI-SearchBot, ChatGPT-User, Meta-ExternalAgent und CCBot gibt es Doku der Betreiber, aber kein belegtes Einführungsdatum. Stand: .
Häufige Fehler
- PerplexityBot sperren, um jeden Perplexity-Zugriff zu stoppen. Die Regel betrifft nur den Crawler. Abrufe, die Nutzer über Perplexity-User auslösen, ignorieren robots.txt-Regeln laut Perplexity in der Regel.
- Nur auf den User-Agent achten. Perplexity empfiehlt, User-Agent und IP-Adresse gemeinsam zu prüfen. Abrufe, die sich nur als PerplexityBot ausgeben, verfälschen sonst die Log-Auswertung.
- Firewall-Regeln vergessen. Perplexity empfiehlt, die veröffentlichten IP-Bereiche zuzulassen und die Liste automatisch aktuell zu halten. Eine WAF-Regel gegen diese Adressen hebt eine Freigabe in der robots.txt praktisch auf (Schlussfolgerung, keine Perplexity-Aussage).
Häufige Fragen
Was ist der Unterschied zwischen PerplexityBot und Perplexity-User? PerplexityBot erfasst Seiten vorab für die Suchergebnisse von Perplexity und lässt sich über die robots.txt steuern. Eine ausdrückliche Zusage, dass er sich an die Regeln hält, enthält die Doku nicht. Perplexity-User ruft eine Seite in dem Moment ab, in dem eine Person danach fragt, und hält sich laut Perplexity in der Regel nicht an robots.txt-Regeln.
Wie erkenne ich PerplexityBot im Logfile?
Am User-Agent mit PerplexityBot/1.0. Ob der Zugriff echt ist, zeigt der Abgleich der IP-Adresse mit der veröffentlichten JSON-Liste.
Kritik
Im August 2025 warf Cloudflare Perplexity vor, neben den deklarierten Bots nicht gekennzeichnete Crawler mit wechselnden User-Agents und IP-Adressen einzusetzen, um robots.txt-Sperren zu umgehen. Cloudflare nahm Perplexity daraufhin von seiner Liste verifizierter Bots. Perplexity wies die Vorwürfe zurück und argumentierte, Abrufe, die ein Nutzer auslöst, seien das Werk von KI-Assistenten und keine Crawler.
Quellen
- Perplexity Crawlers – Perplexity Docsdocs.perplexity.ai
- IP-Adressen PerplexityBot (JSON)perplexity.com
- Cloudflare Blog: Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives (04.08.2025)blog.cloudflare.com
- TechRepublic: Cloudflare Accuses AI Startup of 'Stealth Crawling Behavior' (Zweitquelle, Reaktion Perplexity)techrepublic.com
- Agents or Bots? Making Sense of AI on the Open Web – Perplexity (04.08.2025)perplexity.ai
Stand: