Perplexity-User ist ein User-Agent von Perplexity, der Webseiten aufruft, wenn ein Nutzer in Perplexity eine Frage stellt und die Antwort dafür eine Seite braucht. Jeder Abruf geht auf eine einzelne Nutzeranfrage zurück.
Auf einen Blick
- Betreiber
- Perplexity AI
- Zweck
- Abruf einzelner Seiten für Nutzeranfragen; laut Perplexity kein Training
- robots.txt-Token
Perplexity-User- Beachtet robots.txt
- ignoriert robots.txt laut Perplexity im Allgemeinen
Stand:
Unterschied zu PerplexityBot
PerplexityBot indexiert Websites für die Suchergebnisse in Perplexity. Laut Perplexity dient er nicht dem Crawlen von Inhalten für KI-Basismodelle. Perplexity empfiehlt, ihn in der robots.txt zuzulassen, damit Seiten in den Suchergebnissen erscheinen. Eine ausdrückliche Befolgungszusage steht in der Doku nicht. Eine Regel für PerplexityBot steuert also die Auffindbarkeit in der Suche. Perplexity-User wird davon nicht erfasst, weil dieser Agent die robots.txt anders behandelt.
| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) | |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |
Auswahl von zehn KI-Bots großer Anbieter, keine vollständige Liste. Alle Werte stammen aus der Dokumentation des jeweiligen Betreibers (Stand 8. Oktober 2026). Ob ein Bot sich tatsächlich an die robots.txt hält, sagt die Tabelle nicht; sie gibt nur die Angaben der Betreiber wieder. Ein User-Agent lässt sich fälschen, echte Zugriffe erkennt man über die veröffentlichten IP-Listen oder Reverse-DNS. Quellen: OpenAI: Overview of OpenAI Crawlers; Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07); Perplexity: Perplexity Crawlers; Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google: Verifying Google crawlers and fetchers (IP range files); Apple: About Applebot (2026-09-04); Meta: Meta Web Crawlers; Common Crawl: CCBot. Stand: .
Was das für Betreiber bedeutet
Wer Perplexity-User aussperren will, kann sich nicht auf die robots.txt verlassen. Perplexity empfiehlt für Firewall-Regeln, User-Agent und veröffentlichte IP-Adressen gemeinsam zu prüfen. Die IP-Listen sollten regelmäßig neu geladen werden.
Häufige Fehler
- Auf die robots.txt verlassen. Perplexity schreibt, dass Perplexity-User robots.txt-Regeln im Allgemeinen ignoriert, weil ein Nutzer den Abruf ausgelöst hat.
- Eine Regel für PerplexityBot für ausreichend halten. Sie gilt für den Such-Bot und erfasst Perplexity-User nicht.
- IP-Listen nur einmal einlesen. Perplexity empfiehlt, die veröffentlichten IP-Bereiche regelmäßig automatisch abzurufen und in Firewall-Regeln zu aktualisieren.
Quellen
- Perplexity Crawlers – Perplexity Docsdocs.perplexity.ai
Stand: