# Applebot / Applebot-Extended

Kategorie: [KI-Bots & Crawler](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/) › [Weitere KI-Bots](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/weitere-ki-bots/)

**Applebot** ist der Web-Crawler von Apple, der Inhalte für Suchfunktionen wie Spotlight, Siri und Safari sammelt. **Applebot-Extended** ist ein zusätzlicher User-Agent in der robots.txt. Mit ihm legen Websites fest, ob Apple die bereits gecrawlten Inhalte zum Training seiner generativen KI-Modelle verwenden darf.

## Was Apple dazu sagt

Laut Apple dienen die von Applebot gesammelten Daten den Suchdiensten und dem Training der Foundation-Modelle hinter Funktionen wie Apple Intelligence. Applebot-Extended crawlt selbst keine Seiten. Der Token bestimmt allein, wie die Daten von Applebot verwendet werden dürfen. Wer ihn sperrt, schließt das KI-Training aus. Die Aufnahme in Suchdienste bleibt davon unberührt.

## robots.txt-Steuerung

- **Applebot** folgt den üblichen robots.txt-Regeln. Nennt die robots.txt Applebot nicht, aber Googlebot, hält sich Applebot laut Apple an die Googlebot-Regeln.
- **Applebot-Extended** wird mit einem eigenen Eintrag gesteuert.

```robots
User-agent: Applebot-Extended
Disallow: /
```

Apple weist außerdem darauf hin, dass Seiten womöglich nicht richtig gerendert werden, wenn JavaScript, CSS oder andere Ressourcen per robots.txt gesperrt sind. Seiten hinter einem Login oder einer Paywall crawlt Applebot laut Apple nicht.

## Echte Zugriffe erkennen

Weil sich User-Agent-Namen fälschen lassen, bietet Apple zwei Prüfwege an. Der Reverse-DNS-Name echter Zugriffe liegt in der Domain `applebot.apple.com`. Außerdem veröffentlicht Apple eine Liste der IP-Bereiche als JSON-Datei.

## Einordnung

## Häufige Fehler

- **JavaScript, CSS oder XHR per robots.txt sperren.** Laut Apple werden Seiten dann womöglich nicht richtig gerendert.
- **Crawl-delay setzen.** Applebot folgt dieser Anweisung laut Apple nicht.
- **Applebot-Extended sperren, um aus Siri oder Spotlight zu verschwinden.** Der Token regelt laut Apple nur die Nutzung für das Training. Applebot-Extended crawlt selbst keine Seiten.

## Auf einen Blick

- **Betreiber:** Apple
- **Zweck:** Suche (Spotlight, Siri, Safari); Daten können laut Apple auch das Training der Foundation-Modelle speisen
- **robots.txt-Token:** Applebot, Applebot-Extended
- **Beachtet robots.txt:** ja; ohne eigene Regel folgt Applebot den Googlebot-Regeln; kein Crawl-delay
- **IP-Liste:** [ja (JSON mit CIDR-Bereichen)](https://search.developer.apple.com/applebot.json)
- **Doku:** [Apple Support: About Applebot](https://support.apple.com/en-us/119829)

Stand: 8. Oktober 2026

## KI-Bots im Vergleich

| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Google | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.com/gptbot.json) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.com/searchbot.json) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.com/chatgpt-user.json) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.com/perplexitybot.json) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.commoncrawl.org/ccbot.json) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |

Quellen: [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots); [Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07)](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler); [Perplexity: Perplexity Crawlers](https://docs.perplexity.ai/guides/bots); [Google: Google's common crawlers (last updated 2026-07-14)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers); [Google: Overview of Google crawlers and fetchers (last updated 2026-06-12)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers); [Google: Verifying Google crawlers and fetchers (IP range files)](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests); [Apple: About Applebot (2026-09-04)](https://support.apple.com/en-us/119829); [Meta: Meta Web Crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/); [Common Crawl: CCBot](https://commoncrawl.org/ccbot). Stand: 8. Oktober 2026

## KI-Bots: Crawler, Tokens und Steuerung

- **September 2022:** Die IETF veröffentlicht das Robots Exclusion Protocol als RFC 9309 im Standards Track. Es legt fest, wie Crawler die Regeln einer robots.txt auslegen. ([Quelle](https://www.rfc-editor.org/rfc/rfc9309.html))
- **2023:** OpenAI führt Crawler-Berechtigungen für KI ein. Website-Betreiber können damit angeben, ob ihre Inhalte für KI-Training genutzt werden dürfen. ([Quelle](https://openai.com/index/approach-to-data-and-ai/))
- **28. September 2023:** Google führt Google-Extended ein. Mit diesem Token in der robots.txt lässt sich steuern, ob Inhalte Bard und die generativen APIs von Vertex AI verbessern. ([Quelle](https://blog.google/technology/ai/an-update-on-web-publisher-controls/))
- **8. Februar 2024:** Nach der Umbenennung von Bard nennt die Google-Doku Gemini Apps als betroffenes Produkt von Google-Extended. ([Quelle](https://developers.google.com/search/updates#updated-the-description-of-the-google-extended-product-token_1))
- **10. Juni 2024:** Apple stellt die Foundation Models für Apple Intelligence vor. Website-Betreiber können der Nutzung ihrer Inhalte für das Training widersprechen, laut Apple-Doku über Applebot-Extended. ([Quelle](https://machinelearning.apple.com/research/introducing-apple-foundation-models))
- **3. Juli 2024:** Cloudflare bietet an, KI-Bots, Scraper und Crawler mit einem Klick zu blockieren. ([Quelle](https://blog.cloudflare.com/declaring-your-aindependence-block-ai-bots-scrapers-and-crawlers-with-a-single-click/))
- **25. Juli 2024:** Mit dem SearchGPT-Prototyp trennt OpenAI Suche und Training. Websites können in der Suche erscheinen, auch wenn sie das KI-Training ausschließen. ([Quelle](https://openai.com/index/searchgpt-prototype/))
- **20. August 2024:** Google ergänzt Google-CloudVertexBot in der Crawler-Liste. Er crawlt Websites auf Wunsch der Betreiber für Vertex-AI-Agenten. ([Quelle](https://developers.google.com/search/updates#introducing-the-google-cloudvertexbot-crawler))
- **25. April 2025:** Google präzisiert nach Rückmeldungen von Publishern die Beschreibung von Google-Extended. ([Quelle](https://developers.google.com/search/updates#updated-the-description-of-the-google-extended-product-token))
- **15. Mai 2025:** Cloudflare schlägt vor, dass Bots und Agenten ihre Anfragen kryptografisch signieren, auf Basis von HTTP Message Signatures (RFC 9421). ([Quelle](https://blog.cloudflare.com/web-bot-auth/))
- **1. Juli 2025:** Cloudflare ändert die Voreinstellung und blockiert KI-Crawler standardmäßig, sofern Betreiber nichts anderes festlegen. ([Quelle](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/))
- **1. Juli 2025:** Cloudflare startet Pay per Crawl als geschlossene Beta. Crawler zahlen pro Abruf oder erhalten den Statuscode 402 mit Preisangabe. ([Quelle](https://blog.cloudflare.com/introducing-pay-per-crawl/))

## Verwandte Begriffe

- [Google-Extended](https://seo-geo-glossary.com/de/glossar/google-extended/index.md)
- [robots.txt](https://seo-geo-glossary.com/de/glossar/robots-txt/index.md)
- [Reverse DNS (Bot-Verifizierung)](https://seo-geo-glossary.com/de/glossar/reverse-dns/index.md)
- [KI-Bots blockieren](https://seo-geo-glossary.com/de/glossar/ki-bots-blockieren/index.md)

## Quellen

- [About Applebot – Apple Support (deutsche Fassung)](https://support.apple.com/de-de/119829)
- [Applebot-Modelltraining und individuelle Datenschutzrechte – Apple Support](https://support.apple.com/de-de/120320)
- [Google-Extended – Häufige Crawler von Google, Google Search Central](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers?hl=de)
- [About Applebot – Apple Support (englisch, aktualisiert 04.09.2026)](https://support.apple.com/en-us/119829)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/applebot-applebot-extended/