# YouBot

Kategorie: [KI-Bots & Crawler](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/) › [Weitere KI-Bots](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/weitere-ki-bots/)

**YouBot** ist der Web-Crawler der Suchmaschine You.com. Gemeint ist hier der Bot und nicht der Forschungsroboter KUKA youBot oder andere Produkte gleichen Namens. Er durchsucht und indexiert Webseiten, aus denen die Suchergebnisse von You.com entstehen. Als robots.txt-Token dient `YouBot`.

## Wie arbeitet YouBot?

You.com beschreibt YouBot als Crawler, der Seiten automatisch entdeckt und indexiert. Der User-Agent enthält `YouBot/1.0`, die Adresse der Dokumentation und den Zusatz `env:prod`. Legitime Anfragen stammen laut You.com aus dem IP-Bereich `68.67.112.0/24`. Bei Problemen oder hoher Crawl-Last bietet You.com die Kontaktadresse spider@you.com an.

## Wie lässt sich YouBot steuern?

YouBot beachtet robots.txt-Anweisungen für seinen User-Agent und das Crawl-delay. Er speichert die robots.txt 30 Minuten zwischen. Änderungen können daher bis zu einer halben Stunde brauchen, bis sie wirken.

## Beispiel

```robots
User-agent: YouBot
Crawl-delay: 10
Disallow: /intern/
```

Die Regel setzt für den Crawler ein `Crawl-delay` von 10 und schließt das Verzeichnis `/intern/` aus.

## Häufige Fehler

- **Änderung sofort erwarten.** Laut You.com speichert YouBot die robots.txt 30 Minuten zwischen. Eine Änderung kann bis zu einer halben Stunde brauchen.
- **Jeden Zugriff mit YouBot-Kennung für echt halten.** You.com nennt den IP-Bereich `68.67.112.0/24` und Reverse-DNS-Namen nach dem Muster `youbot-<IP>.search.you.com`. Ein Zugriff, der sich als YouBot ausgibt, aber nicht aus diesem Bereich stammt, passt nicht zur Doku.

## Häufige Fragen

**Ist YouBot ein KI-Crawler?**
YouBot speist die Suche von You.com. You.com bietet auch KI-Antworten an, der Zweck des Crawlers ist laut Doku aber die Suche.

**Wie schnell wirkt eine Änderung in der robots.txt?**
Laut You.com nach spätestens 30 Minuten.

## Auf einen Blick

- **Betreiber:** You.com
- **Zweck:** Suche (Entdecken und Indexieren von Seiten)
- **robots.txt-Token:** YouBot
- **Beachtet robots.txt:** ja, inklusive Crawl-delay; robots.txt wird 30 Minuten zwischengespeichert
- **IP-Liste:** IP-Bereich 68.67.112.0/24
- **Doku:** [You.com: YouBot](https://you.com/docs/youbot)

Stand: 8. Oktober 2026

## KI-Bots im Vergleich

| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Google | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.com/gptbot.json) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.com/searchbot.json) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.com/chatgpt-user.json) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.com/perplexitybot.json) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.commoncrawl.org/ccbot.json) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |

Quellen: [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots); [Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07)](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler); [Perplexity: Perplexity Crawlers](https://docs.perplexity.ai/guides/bots); [Google: Google's common crawlers (last updated 2026-07-14)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers); [Google: Overview of Google crawlers and fetchers (last updated 2026-06-12)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers); [Google: Verifying Google crawlers and fetchers (IP range files)](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests); [Apple: About Applebot (2026-09-04)](https://support.apple.com/en-us/119829); [Meta: Meta Web Crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/); [Common Crawl: CCBot](https://commoncrawl.org/ccbot). Stand: 8. Oktober 2026

## Verwandte Begriffe

- [KI-Crawler (AI Crawler)](https://seo-geo-glossary.com/de/glossar/ki-crawler/index.md)
- [robots.txt](https://seo-geo-glossary.com/de/glossar/robots-txt/index.md)
- [Crawl-delay](https://seo-geo-glossary.com/de/glossar/crawl-delay/index.md)
- [User-Agent](https://seo-geo-glossary.com/de/glossar/user-agent/index.md)

## Quellen

- [YouBot: You.com's Web Crawler – You.com Docs (Stand 07.10.2026)](https://you.com/docs/youbot)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/youbot/