# Crawl-Rate

Kategorie: [Crawling & Indexierung](https://seo-geo-glossary.com/de/glossar/kategorie/crawling-indexierung/) › [Crawling & Crawl-Budget](https://seo-geo-glossary.com/de/glossar/kategorie/crawling-indexierung/crawling-crawl-budget/) · Auch genannt: Crawl-Frequenz, Crawling-Geschwindigkeit

Die **Crawl-Rate** ist die Zahl der Abrufe, die ein Crawler in einem Zeitraum an eine Website stellt. Bei Google richtet sie sich danach, wie viel Last der Server verträgt und wie viel Google crawlen will.

## Wie bestimmt Google die Crawl-Rate?

Googles Ziel ist es, bei jedem Besuch so viele Seiten wie möglich abzurufen, ohne den Server zu überlasten. Die Obergrenze heißt Crawl-Kapazitätslimit. Sie steigt, wenn der Server stabil und schnell antwortet. Sie sinkt bei Serverfehlern (5xx) oder Signalen wie dem Statuscode 429. Wie viel Google tatsächlich crawlen will, hängt vom Crawl Demand ab. Googles Doku definiert „Crawl-Rate“ nicht als eigenen Begriff. Die Beschreibung hier fasst die Seiten zu Crawl-Budget und Crawl-Rate zusammen.

## Crawl-Rate verringern

Wer den Googlebot kurzfristig bremsen muss, kann statt 200 den Statuscode 500, 503 oder 429 liefern, optional mit `Retry-After`-Header. Google rät, das nicht länger als ein bis zwei Tage zu tun, weil sonst die Indexierung leidet. Sinken die Fehler, erhöht Google die Rate automatisch wieder.

Das frühere Crawl-Rate-Limiter-Tool in der Search Console wurde im November 2023 zur Abschaltung angekündigt. Die robots.txt-Angabe `crawl-delay` unterstützt Google nicht. Unterstützt werden nur `user-agent`, `allow`, `disallow` und `sitemap`.

## Beispiel

Ein Shop ändert den Server und bemerkt Lastspitzen durch den Googlebot. Für einige Stunden liefert er auf Crawl-Anfragen `503` mit `Retry-After: 3600`. Nach der Korrektur geht die Rate von selbst wieder hoch.

*Grafik: Crawl-Budget aus Kapazität und Bedarf.* Google definiert das Crawl-Budget als die URLs, die Google crawlen kann und will. Den bekannten URL-Bestand kann eine Website laut Google am stärksten selbst beeinflussen.

## Nicht verwechseln

- [Crawl Demand](https://seo-geo-glossary.com/de/glossar/crawl-demand/index.md): beschreibt, wie viel ein Crawler von der Website crawlen will. Google nennt als Faktoren den wahrgenommenen Seitenbestand, die Popularität der URLs und ihre Staleness.

## Verwandte Begriffe

- [Crawl-Budget](https://seo-geo-glossary.com/de/glossar/crawl-budget/index.md)
- [Crawl Demand](https://seo-geo-glossary.com/de/glossar/crawl-demand/index.md)
- [Crawl-Tiefe (Klicktiefe)](https://seo-geo-glossary.com/de/glossar/crawl-tiefe/index.md)
- [Crawl-delay](https://seo-geo-glossary.com/de/glossar/crawl-delay/index.md)
- [503 Service Unavailable](https://seo-geo-glossary.com/de/glossar/503-service-unavailable/index.md)
- [429 Too Many Requests](https://seo-geo-glossary.com/de/glossar/429-too-many-requests/index.md)
- [Crawling-Statistik (Search Console)](https://seo-geo-glossary.com/de/glossar/crawling-statistik/index.md)
- [Crawl-Frequenz](https://seo-geo-glossary.com/de/glossar/crawl-frequenz/index.md)

## Quellen

- [Crawling-Geschwindigkeit von Googlebot reduzieren – Google Crawling Infrastructure](https://developers.google.com/crawling/docs/crawlers-fetchers/reduce-crawl-rate)
- [Crawl-Budget verwalten – Google Crawling Infrastructure](https://developers.google.com/crawling/docs/crawl-budget)
- [Upcoming deprecation of Crawl Rate Limiter Tool in Search Console – Google Search Central Blog (11/2023)](https://developers.google.com/search/blog/2023/11/sc-crawl-limiter-byebye)
- [robots.txt-Spezifikation – Google Search Central](https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/crawl-rate/