# Google-CloudVertexBot

Kategorie: [KI-Bots & Crawler](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/) › [Weitere KI-Bots](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/weitere-ki-bots/)

**Google-CloudVertexBot** ist ein Crawler von Google, der Websites im Auftrag ihrer Betreiber abruft, damit diese Inhalte in Vertex-AI-Agenten genutzt werden können.

## Wofür dient Google-CloudVertexBot?

Laut Google handelt es sich um Crawls auf Anfrage der Seitenbetreiber, die dem Aufbau von Vertex AI Agents dienen. Gemeint sind Agenten, die Unternehmen mit Googles Cloud-Produkt Vertex AI Agent Builder entwickeln. Nach dieser Beschreibung kommt der Bot nur bei Crawls zum Einsatz, die Seitenbetreiber anfragen.

Google schreibt dazu, der Crawler habe keine Auswirkung auf die Google Suche und andere Produkte. Er gehört nicht zu Googlebot und ist auch nicht mit Google-Extended zu verwechseln.

## Welche robots.txt-Tokens gelten?

Google nennt zwei Tokens, `Google-CloudVertexBot` und `Googlebot`. Wer Regeln speziell für diesen Bot festlegen will, nutzt vermutlich das erste Token (Einschätzung).

## Beispiel

```robots
User-agent: Google-CloudVertexBot
Disallow: /intern/
```

Die Regel schließt `/intern/` für diesen Bot aus. Googlebot ist davon nicht betroffen.

## Häufige Fragen

**Crawlt Google-CloudVertexBot meine Website von selbst?**
Nach Googles Beschreibung nur auf Anfrage der Seitenbetreiber.

## Auf einen Blick

- **Betreiber:** Google
- **Zweck:** Crawls auf Anfrage der Seitenbetreiber für Vertex AI Agents
- **robots.txt-Token:** Google-CloudVertexBot, Googlebot
- **Beachtet robots.txt:** ja, Googles gängige Crawler beachten robots.txt bei automatischen Crawls
- **IP-Liste:** ja (common-crawlers.json)
- **Doku:** [Google: Common Crawlers](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers)

Stand: 8. Oktober 2026

## KI-Bots im Vergleich

| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Google | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.com/gptbot.json) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.com/searchbot.json) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.com/chatgpt-user.json) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.com/crawling/bots.json) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.com/perplexitybot.json) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.commoncrawl.org/ccbot.json) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |

Quellen: [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots); [Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07)](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler); [Perplexity: Perplexity Crawlers](https://docs.perplexity.ai/guides/bots); [Google: Google's common crawlers (last updated 2026-07-14)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers); [Google: Overview of Google crawlers and fetchers (last updated 2026-06-12)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers); [Google: Verifying Google crawlers and fetchers (IP range files)](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests); [Apple: About Applebot (2026-09-04)](https://support.apple.com/en-us/119829); [Meta: Meta Web Crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/); [Common Crawl: CCBot](https://commoncrawl.org/ccbot). Stand: 8. Oktober 2026

## Verwandte Begriffe

- [Googlebot](https://seo-geo-glossary.com/de/glossar/googlebot/index.md)
- [Google-Extended](https://seo-geo-glossary.com/de/glossar/google-extended/index.md)
- [KI-Crawler (AI Crawler)](https://seo-geo-glossary.com/de/glossar/ki-crawler/index.md)
- [robots.txt](https://seo-geo-glossary.com/de/glossar/robots-txt/index.md)

## Quellen

- [Google Common Crawlers (Google-CloudVertexBot) – Google Search Central](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers)
- [Vertex AI Agent Builder: Website-Daten vorbereiten – Google Cloud](https://cloud.google.com/generative-ai-app-builder/docs/prepare-data#website)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/google-cloudvertexbot/