# PerplexityBot

Kategorie: [KI-Bots & Crawler](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/) › [Bots von OpenAI, Anthropic & Perplexity](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/openai-anthropic-perplexity/)

**PerplexityBot** ist der Crawler der KI-Suchmaschine Perplexity. Laut Perplexity erfasst er Websites, damit sie in den Suchergebnissen von Perplexity angezeigt und verlinkt werden können. Für das Training von KI-Foundation-Models setzt Perplexity ihn nach eigener Aussage nicht ein.

## Wie identifiziert sich PerplexityBot?

Perplexity dokumentiert diesen User-Agent:

```txt
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
```

Die IP-Adressen veröffentlicht Perplexity als JSON-Datei unter `perplexity.com/perplexitybot.json`. Weil sich ein User-Agent fälschen lässt, ist der Abgleich mit dieser Liste der verlässlichere Weg, echte Zugriffe im Logfile zu erkennen.

Neben PerplexityBot gibt es **Perplexity-User**. Dieser Fetcher ruft Seiten ab, wenn eine Person in Perplexity eine Frage stellt, und ignoriert laut Perplexity robots.txt-Regeln in der Regel, weil der Abruf von einem Nutzer ausgeht.

## Steuerung per robots.txt

PerplexityBot lässt sich über sein Token in der robots.txt ausschließen:

```robots
User-agent: PerplexityBot
Disallow: /
```

Perplexity gibt an, dass es bis zu 24 Stunden dauern kann, bis Änderungen an der robots.txt berücksichtigt werden. Wer in den Suchergebnissen von Perplexity erscheinen will, sollte PerplexityBot laut Perplexity in der robots.txt erlauben und Anfragen aus den veröffentlichten IP-Bereichen zulassen. Abrufe durch Perplexity-User erfasst die Regel für PerplexityBot nicht.

## Häufige Fehler

- **PerplexityBot sperren, um jeden Perplexity-Zugriff zu stoppen.** Die Regel betrifft nur den Crawler. Abrufe, die Nutzer über Perplexity-User auslösen, ignorieren robots.txt-Regeln laut Perplexity in der Regel.
- **Nur auf den User-Agent achten.** Perplexity empfiehlt, User-Agent und IP-Adresse gemeinsam zu prüfen. Abrufe, die sich nur als PerplexityBot ausgeben, verfälschen sonst die Log-Auswertung.
- **Firewall-Regeln vergessen.** Perplexity empfiehlt, die veröffentlichten IP-Bereiche zuzulassen und die Liste automatisch aktuell zu halten. Eine WAF-Regel gegen diese Adressen hebt eine Freigabe in der robots.txt praktisch auf (Schlussfolgerung, keine Perplexity-Aussage).

## Häufige Fragen

**Was ist der Unterschied zwischen PerplexityBot und Perplexity-User?**
PerplexityBot erfasst Seiten vorab für die Suchergebnisse von Perplexity und lässt sich über die robots.txt steuern. Eine ausdrückliche Zusage, dass er sich an die Regeln hält, enthält die Doku nicht. Perplexity-User ruft eine Seite in dem Moment ab, in dem eine Person danach fragt, und hält sich laut Perplexity in der Regel nicht an robots.txt-Regeln.

**Wie erkenne ich PerplexityBot im Logfile?**
Am User-Agent mit `PerplexityBot/1.0`. Ob der Zugriff echt ist, zeigt der Abgleich der IP-Adresse mit der veröffentlichten JSON-Liste.

## Kritik

Im August 2025 warf Cloudflare Perplexity vor, neben den deklarierten Bots nicht gekennzeichnete Crawler mit wechselnden User-Agents und IP-Adressen einzusetzen, um robots.txt-Sperren zu umgehen. Cloudflare nahm Perplexity daraufhin von seiner Liste verifizierter Bots. Perplexity wies die Vorwürfe zurück und argumentierte, Abrufe, die ein Nutzer auslöst, seien das Werk von KI-Assistenten und keine Crawler.

## Auf einen Blick

- **Betreiber:** Perplexity
- **Zweck:** Websites in den Suchergebnissen von Perplexity anzeigen, laut Perplexity kein Training
- **robots.txt-Token:** PerplexityBot
- **Beachtet robots.txt:** über robots.txt steuerbar, eine ausdrückliche Befolgungszusage fehlt in der Doku
- **IP-Liste:** [perplexity.com/perplexitybot.json](https://www.perplexity.com/perplexitybot.json)
- **Doku:** [Perplexity: Perplexity Crawlers](https://docs.perplexity.ai/docs/resources/perplexity-crawlers)

Stand: 8. Oktober 2026

## KI-Bots im Vergleich

| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Google | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.com/gptbot.json) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.com/searchbot.json) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.com/chatgpt-user.json) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.com/perplexitybot.json) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.commoncrawl.org/ccbot.json) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |

Quellen: [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots); [Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07)](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler); [Perplexity: Perplexity Crawlers](https://docs.perplexity.ai/guides/bots); [Google: Google's common crawlers (last updated 2026-07-14)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers); [Google: Overview of Google crawlers and fetchers (last updated 2026-06-12)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers); [Google: Verifying Google crawlers and fetchers (IP range files)](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests); [Apple: About Applebot (2026-09-04)](https://support.apple.com/en-us/119829); [Meta: Meta Web Crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/); [Common Crawl: CCBot](https://commoncrawl.org/ccbot). Stand: 8. Oktober 2026

## KI-Bots: Crawler, Tokens und Steuerung

- **September 2022:** Die IETF veröffentlicht das Robots Exclusion Protocol als RFC 9309 im Standards Track. Es legt fest, wie Crawler die Regeln einer robots.txt auslegen. ([Quelle](https://www.rfc-editor.org/rfc/rfc9309.html))
- **2023:** OpenAI führt Crawler-Berechtigungen für KI ein. Website-Betreiber können damit angeben, ob ihre Inhalte für KI-Training genutzt werden dürfen. ([Quelle](https://openai.com/index/approach-to-data-and-ai/))
- **28. September 2023:** Google führt Google-Extended ein. Mit diesem Token in der robots.txt lässt sich steuern, ob Inhalte Bard und die generativen APIs von Vertex AI verbessern. ([Quelle](https://blog.google/technology/ai/an-update-on-web-publisher-controls/))
- **8. Februar 2024:** Nach der Umbenennung von Bard nennt die Google-Doku Gemini Apps als betroffenes Produkt von Google-Extended. ([Quelle](https://developers.google.com/search/updates#updated-the-description-of-the-google-extended-product-token_1))
- **10. Juni 2024:** Apple stellt die Foundation Models für Apple Intelligence vor. Website-Betreiber können der Nutzung ihrer Inhalte für das Training widersprechen, laut Apple-Doku über Applebot-Extended. ([Quelle](https://machinelearning.apple.com/research/introducing-apple-foundation-models))
- **3. Juli 2024:** Cloudflare bietet an, KI-Bots, Scraper und Crawler mit einem Klick zu blockieren. ([Quelle](https://blog.cloudflare.com/declaring-your-aindependence-block-ai-bots-scrapers-and-crawlers-with-a-single-click/))
- **25. Juli 2024:** Mit dem SearchGPT-Prototyp trennt OpenAI Suche und Training. Websites können in der Suche erscheinen, auch wenn sie das KI-Training ausschließen. ([Quelle](https://openai.com/index/searchgpt-prototype/))
- **20. August 2024:** Google ergänzt Google-CloudVertexBot in der Crawler-Liste. Er crawlt Websites auf Wunsch der Betreiber für Vertex-AI-Agenten. ([Quelle](https://developers.google.com/search/updates#introducing-the-google-cloudvertexbot-crawler))
- **25. April 2025:** Google präzisiert nach Rückmeldungen von Publishern die Beschreibung von Google-Extended. ([Quelle](https://developers.google.com/search/updates#updated-the-description-of-the-google-extended-product-token))
- **15. Mai 2025:** Cloudflare schlägt vor, dass Bots und Agenten ihre Anfragen kryptografisch signieren, auf Basis von HTTP Message Signatures (RFC 9421). ([Quelle](https://blog.cloudflare.com/web-bot-auth/))
- **1. Juli 2025:** Cloudflare ändert die Voreinstellung und blockiert KI-Crawler standardmäßig, sofern Betreiber nichts anderes festlegen. ([Quelle](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/))
- **1. Juli 2025:** Cloudflare startet Pay per Crawl als geschlossene Beta. Crawler zahlen pro Abruf oder erhalten den Statuscode 402 mit Preisangabe. ([Quelle](https://blog.cloudflare.com/introducing-pay-per-crawl/))

## Verwandte Begriffe

- [Perplexity-User](https://seo-geo-glossary.com/de/glossar/perplexity-user/index.md)
- [KI-Crawler (AI Crawler)](https://seo-geo-glossary.com/de/glossar/ki-crawler/index.md)

## Quellen

- [Perplexity Crawlers – Perplexity Docs](https://docs.perplexity.ai/docs/resources/perplexity-crawlers)
- [IP-Adressen PerplexityBot (JSON)](https://www.perplexity.com/perplexitybot.json)
- [Cloudflare Blog: Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives (04.08.2025)](https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/)
- [TechRepublic: Cloudflare Accuses AI Startup of 'Stealth Crawling Behavior' (Zweitquelle, Reaktion Perplexity)](https://www.techrepublic.com/article/news-cloudflare-accuses-perplexity-stealth-crawling-violations/)
- [Agents or Bots? Making Sense of AI on the Open Web – Perplexity (04.08.2025)](https://www.perplexity.ai/hub/blog/agents-or-bots-making-sense-of-ai-on-the-open-web)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/perplexitybot/