Das Crawl-Budget ist die Menge an Zeit und Ressourcen, die Google für das Crawlen einer Website aufwendet. Es ergibt sich aus zwei Größen, dem Crawling-Kapazitätslimit und dem Crawl-Bedarf, und bestimmt, wie viele URLs einer Website der Googlebot in einem Zeitraum abruft.
Auf einen Blick
- Art
- Zeit und Ressourcen, die Google für das Crawlen einer Website aufwendet
- Bestandteile
- Crawling-Kapazitätslimit und Crawl-Bedarf
- Relevant für (Richtwert Google)
- über 1 Mio. Seiten mit wöchentlichen oder über 10.000 Seiten mit täglichen Änderungen
- Sichtbar in
- Crawling-Statistikbericht der Search Console, Server-Logfiles
Stand:
Wie setzt sich das Crawl-Budget zusammen?
Das Kapazitätslimit (bei Google auch Hostload) schützt den Server. Google begrenzt die Gesamtzeit, die der Server Verbindungen für Google offen hält, abhängig von der Zahl paralleler Verbindungen und ihrer Dauer. Antwortet ein Server schnell und stabil, steigt das Limit. Wird er langsamer oder antwortet mit Serverfehlern (5xx) oder dem Statuscode 429, sinkt es.
Der Crawl-Bedarf hängt davon ab, wie viele URLs Google kennt, wie beliebt sie sind und wie oft sich ihr Inhalt ändert. Viele doppelte oder wertlose URLs senken den Nutzen jedes Abrufs.
Für wen ist das Crawl-Budget relevant?
Google richtet seine Empfehlungen an große Websites mit mehr als einer Million Seiten, deren Inhalte sich wöchentlich ändern, und an mittelgroße Websites ab etwa 10.000 Seiten mit täglichen Änderungen. Auch Websites, bei denen viele URLs in der Search Console als „Gefunden – zurzeit nicht indexiert“ stehen, sind betroffen. Bei kleineren Websites crawlt Google neue Seiten in der Regel ohne besondere Maßnahmen.
Beispiel
Ein Shop hat 40.000 Produktseiten. Die Filternavigation erzeugt aus Farbe, Größe und Sortierung zusätzlich mehrere Hunderttausend Parameter-URLs. Der Googlebot verbringt einen großen Teil seiner Abrufe auf diesen Varianten, neue Produkte erscheinen erst Tage später im Index. Werden die Filter-URLs per robots.txt vom Crawling ausgeschlossen, bleibt mehr Kapazität für die eigentlichen Produktseiten.
Häufige Fehler
- noindex statt robots.txt: Google ruft Seiten mit noindex trotzdem ab und verwirft sie danach. Gespart wird dadurch nichts.
- Weiterleitungsketten: Jede Zwischenstation kostet einen eigenen Abruf.
- Soft-404-Seiten: Gelöschte Inhalte, die mit Status 200 antworten, crawlt Google weiter. Für dauerhaft entfernte Seiten empfiehlt Google 404 oder 410.
Wie viele Abrufe der Googlebot tatsächlich macht, zeigen der Crawling-Statistikbericht der Search Console und die Server-Logfiles.
Häufige Fragen
Lässt sich das Crawl-Budget erhöhen? Google nennt zwei Wege. Meldet der Crawling-Statistikbericht Probleme mit der Serververfügbarkeit, helfen mehr Serverressourcen. Den Crawl-Bedarf steigern Inhalte, die beliebt, einzigartig und für Nutzer wertvoll sind.
Quellen
Stand: