# Crawl-Budget

Kategorie: [Crawling & Indexierung](https://seo-geo-glossary.com/de/glossar/kategorie/crawling-indexierung/) › [Crawling & Crawl-Budget](https://seo-geo-glossary.com/de/glossar/kategorie/crawling-indexierung/crawling-crawl-budget/) · Auch genannt: Crawling-Budget

Das **Crawl-Budget** ist die Menge an Zeit und Ressourcen, die Google für das Crawlen einer Website aufwendet. Es ergibt sich aus zwei Größen, dem Crawling-Kapazitätslimit und dem Crawl-Bedarf, und bestimmt, wie viele URLs einer Website der Googlebot in einem Zeitraum abruft.

## Wie setzt sich das Crawl-Budget zusammen?

Das **Kapazitätslimit** (bei Google auch Hostload) schützt den Server. Google begrenzt die Gesamtzeit, die der Server Verbindungen für Google offen hält, abhängig von der Zahl paralleler Verbindungen und ihrer Dauer. Antwortet ein Server schnell und stabil, steigt das Limit. Wird er langsamer oder antwortet mit Serverfehlern (5xx) oder dem Statuscode 429, sinkt es.

Der **Crawl-Bedarf** hängt davon ab, wie viele URLs Google kennt, wie beliebt sie sind und wie oft sich ihr Inhalt ändert. Viele doppelte oder wertlose URLs senken den Nutzen jedes Abrufs.

## Für wen ist das Crawl-Budget relevant?

Google richtet seine Empfehlungen an große Websites mit mehr als einer Million Seiten, deren Inhalte sich wöchentlich ändern, und an mittelgroße Websites ab etwa 10.000 Seiten mit täglichen Änderungen. Auch Websites, bei denen viele URLs in der Search Console als „Gefunden – zurzeit nicht indexiert“ stehen, sind betroffen. Bei kleineren Websites crawlt Google neue Seiten in der Regel ohne besondere Maßnahmen.

## Beispiel

Ein Shop hat 40.000 Produktseiten. Die Filternavigation erzeugt aus Farbe, Größe und Sortierung zusätzlich mehrere Hunderttausend Parameter-URLs. Der Googlebot verbringt einen großen Teil seiner Abrufe auf diesen Varianten, neue Produkte erscheinen erst Tage später im Index. Werden die Filter-URLs per robots.txt vom Crawling ausgeschlossen, bleibt mehr Kapazität für die eigentlichen Produktseiten.

## Häufige Fehler

- **noindex statt robots.txt:** Google ruft Seiten mit noindex trotzdem ab und verwirft sie danach. Gespart wird dadurch nichts.
- **Weiterleitungsketten:** Jede Zwischenstation kostet einen eigenen Abruf.
- **Soft-404-Seiten:** Gelöschte Inhalte, die mit Status 200 antworten, crawlt Google weiter. Für dauerhaft entfernte Seiten empfiehlt Google 404 oder 410.

Wie viele Abrufe der Googlebot tatsächlich macht, zeigen der Crawling-Statistikbericht der Search Console und die Server-Logfiles.

## Häufige Fragen

**Lässt sich das Crawl-Budget erhöhen?**
Google nennt zwei Wege. Meldet der Crawling-Statistikbericht Probleme mit der Serververfügbarkeit, helfen mehr Serverressourcen. Den Crawl-Bedarf steigern Inhalte, die beliebt, einzigartig und für Nutzer wertvoll sind.

## Auf einen Blick

- **Art:** Zeit und Ressourcen, die Google für das Crawlen einer Website aufwendet
- **Bestandteile:** Crawling-Kapazitätslimit und Crawl-Bedarf
- **Relevant für (Richtwert Google):** über 1 Mio. Seiten mit wöchentlichen oder über 10.000 Seiten mit täglichen Änderungen
- **Sichtbar in:** Crawling-Statistikbericht der Search Console, Server-Logfiles
- **Doku:** [Google: Crawling-Budget optimieren](https://developers.google.com/crawling/docs/crawl-budget?hl=de)

Stand: 8. Oktober 2026

*Grafik: Crawl-Budget aus Kapazität und Bedarf.* Google definiert das Crawl-Budget als die URLs, die Google crawlen kann und will. Den bekannten URL-Bestand kann eine Website laut Google am stärksten selbst beeinflussen.

## Verwandte Begriffe

- [Crawling](https://seo-geo-glossary.com/de/glossar/crawling/index.md)
- [Logfile-Analyse](https://seo-geo-glossary.com/de/glossar/logfile-analyse/index.md)
- [Facettierte Navigation (Filter)](https://seo-geo-glossary.com/de/glossar/facettierte-navigation/index.md)
- [Crawl-Rate](https://seo-geo-glossary.com/de/glossar/crawl-rate/index.md)
- [Crawl-Frequenz](https://seo-geo-glossary.com/de/glossar/crawl-frequenz/index.md)

## Quellen

- [Crawling-Budget optimieren – Google Crawling Infrastructure (Stand 2026-07-22, neue URL; ersetzt den früheren Leitfaden unter /search/docs/crawling-indexing/large-site-managing-crawl-budget)](https://developers.google.com/crawling/docs/crawl-budget?hl=de)
- [Bericht „Crawling-Statistik“ – Search Console-Hilfe](https://support.google.com/webmasters/answer/9679690?hl=de)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/crawl-budget/