Amazonbot ist der Web-Crawler von Amazon. Laut Amazon dient er dazu, Produkte und Dienste zu verbessern, und die Daten können zum Training von Amazon-KI-Modellen verwendet werden. Als robots.txt-Token gilt Amazonbot.
Auf einen Blick
- Betreiber
- Amazon
- Zweck
- Verbesserung von Produkten und Diensten, laut Amazon auch KI-Training
- robots.txt-Token
Amazonbot- Beachtet robots.txt
- ja, Robots Exclusion Protocol; kein Crawl-delay
- IP-Liste
- ja, eigene Seite bei Amazon
Stand:
Wofür nutzt Amazon den Amazonbot?
Amazon beschreibt, der Bot helfe, Kunden genauere Informationen zu liefern. Daneben nennt Amazon zwei weitere Bots. Amzn-SearchBot soll Suchfunktionen in Amazon-Produkten verbessern, Inhalte können dann in Suchumgebungen wie Alexa erscheinen. Amzn-User dient Nutzeranfragen, etwa wenn Alexa aktuelle Informationen braucht.
| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) | |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |
Auswahl von zehn KI-Bots großer Anbieter, keine vollständige Liste. Alle Werte stammen aus der Dokumentation des jeweiligen Betreibers (Stand 8. Oktober 2026). Ob ein Bot sich tatsächlich an die robots.txt hält, sagt die Tabelle nicht; sie gibt nur die Angaben der Betreiber wieder. Ein User-Agent lässt sich fälschen, echte Zugriffe erkennt man über die veröffentlichten IP-Listen oder Reverse-DNS. Quellen: OpenAI: Overview of OpenAI Crawlers; Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07); Perplexity: Perplexity Crawlers; Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google: Verifying Google crawlers and fetchers (IP range files); Apple: About Applebot (2026-09-04); Meta: Meta Web Crawlers; Common Crawl: CCBot. Stand: .
Wie lässt sich Amazonbot steuern?
Amazonbot beachtet das Robots Exclusion Protocol und liest die robots.txt je Host. Die Datei wird bis zu 30 Tage zwischengespeichert. Zusätzlich berücksichtigt er rel=nofollow bei Links und die Robots-Meta-Angaben noindex, none und noarchive. Laut Amazon verhindert noarchive die Nutzung für das Modelltraining.
Crawl-delay unterstützt Amazonbot nicht, ebenso wenig Amzn-SearchBot und Amzn-User. Für Amzn-User schränkt Amazon die robots.txt-Beachtung ein. Weil dessen Abrufe von Nutzern ausgelöst werden können, folgt er laut Amazon womöglich nicht allen Anweisungen in der robots.txt. Für Amazonbot selbst gilt diese Ausnahme nicht. Die IP-Adressen veröffentlicht Amazon auf einer eigenen Seite.
Beispiel
User-agent: Amazonbot
Disallow: /intern/
Und als Meta-Angabe auf einzelnen Seiten:
<meta name="robots" content="noarchive">
Häufige Fehler
- Crawl-delay setzen. Amazon nennt die Anweisung für Amazonbot, Amzn-SearchBot und Amzn-User als nicht unterstützt.
- Nur Amazonbot sperren. Laut Amazon ist jede User-Agent-Einstellung unabhängig von den anderen. Amzn-SearchBot und Amzn-User brauchen eigene Einträge.
- Sofortige Wirkung erwarten. Änderungen an der robots.txt brauchen laut Amazon etwa 24 Stunden, bis die Systeme sie berücksichtigen.
Häufige Fragen
Kann ich die Abrufrate von Amazonbot per Crawl-delay begrenzen? Nein. Amazon nennt die Anweisung ausdrücklich als nicht unterstützt.
Wohin wende ich mich bei Problemen? Amazon nennt dafür die Adresse amazonbot@amazon.com. Die betroffenen Domains sollten in der Nachricht stehen.
Quellen
- Amazonbot – Amazon Developerdeveloper.amazon.com
- Amazonbot und robots.txt – Amazon Developerdeveloper.amazon.com
Stand: