Amzn-SearchBot ist ein Crawler von Amazon, der laut Amazon Sucherlebnisse in Amazon-Produkten und -Diensten verbessert. Seiten, die den Bot zulassen, können in solchen Suchumgebungen erscheinen, Amazon nennt als Beispiel Alexa.
Auf einen Blick
- Betreiber
- Amazon
- Zweck
- Suche in Amazon-Produkten und -Diensten (z. B. Alexa), laut Amazon kein Training generativer KI
- robots.txt-Token
Amzn-SearchBot- Beachtet robots.txt
- ja; ohne eigene Regel gelten die Regeln für andere Such-Bots; kein Crawl-delay
- IP-Liste
- ja, eigene Seite bei Amazon
Stand:
Wie verhält sich Amzn-SearchBot?
Amazon führt den Bot getrennt von Amazonbot und Amzn-User, jeder hat eigene Regeln in der robots.txt. Erwähnt die robots.txt den Amzn-SearchBot nicht, richtet er sich nach den Regeln, die dort für andere Such-Bots gelten. Inhalte crawlt er laut Amazon nicht für das Training generativer KI-Modelle.
Die robots.txt liest er je Host und nutzt bis zu 30 Tage eine zwischengespeicherte Fassung. Änderungen brauchen laut Amazon etwa 24 Stunden. Crawl-delay wird nicht unterstützt. Amazon veröffentlicht eine eigene IP-Liste, über die sich echte Zugriffe prüfen lassen.
| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) | |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |
Auswahl von zehn KI-Bots großer Anbieter, keine vollständige Liste. Alle Werte stammen aus der Dokumentation des jeweiligen Betreibers (Stand 8. Oktober 2026). Ob ein Bot sich tatsächlich an die robots.txt hält, sagt die Tabelle nicht; sie gibt nur die Angaben der Betreiber wieder. Ein User-Agent lässt sich fälschen, echte Zugriffe erkennt man über die veröffentlichten IP-Listen oder Reverse-DNS. Quellen: OpenAI: Overview of OpenAI Crawlers; Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07); Perplexity: Perplexity Crawlers; Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google: Verifying Google crawlers and fetchers (IP range files); Apple: About Applebot (2026-09-04); Meta: Meta Web Crawlers; Common Crawl: CCBot. Stand: .
Beispiel
User-agent: Amzn-SearchBot
Disallow: /checkout/
User-Agent laut Amazon:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amzn-SearchBot/0.1) Chrome/W.X.Y.Z Safari/537.36
Häufige Fehler
- Amazonbot sperren und Amzn-SearchBot vergessen. Jede User-Agent-Einstellung ist laut Amazon unabhängig von den anderen. Der Such-Bot braucht einen eigenen Eintrag.
- Crawl-delay setzen. Amazon nennt die Anweisung als nicht unterstützt.
- Sofortige Wirkung erwarten. Änderungen an der robots.txt brauchen laut Amazon etwa 24 Stunden, bis die Systeme sie berücksichtigen.
Quellen
- About Amazonbot – Amazon Developerdeveloper.amazon.com
- Amzn-SearchBot IP-Adressen – Amazon Developerdeveloper.amazon.com
Stand: