Die Crawl-Rate ist die Zahl der Abrufe, die ein Crawler in einem Zeitraum an eine Website stellt. Bei Google richtet sie sich danach, wie viel Last der Server verträgt und wie viel Google crawlen will.
Wie bestimmt Google die Crawl-Rate?
Googles Ziel ist es, bei jedem Besuch so viele Seiten wie möglich abzurufen, ohne den Server zu überlasten. Die Obergrenze heißt Crawl-Kapazitätslimit. Sie steigt, wenn der Server stabil und schnell antwortet. Sie sinkt bei Serverfehlern (5xx) oder Signalen wie dem Statuscode 429. Wie viel Google tatsächlich crawlen will, hängt vom Crawl Demand ab. Googles Doku definiert „Crawl-Rate“ nicht als eigenen Begriff. Die Beschreibung hier fasst die Seiten zu Crawl-Budget und Crawl-Rate zusammen.
Crawl-Rate verringern
Wer den Googlebot kurzfristig bremsen muss, kann statt 200 den Statuscode 500, 503 oder 429 liefern, optional mit Retry-After-Header. Google rät, das nicht länger als ein bis zwei Tage zu tun, weil sonst die Indexierung leidet. Sinken die Fehler, erhöht Google die Rate automatisch wieder.
Das frühere Crawl-Rate-Limiter-Tool in der Search Console wurde im November 2023 zur Abschaltung angekündigt. Die robots.txt-Angabe crawl-delay unterstützt Google nicht. Unterstützt werden nur user-agent, allow, disallow und sitemap.
Beispiel
Ein Shop ändert den Server und bemerkt Lastspitzen durch den Googlebot. Für einige Stunden liefert er auf Crawl-Anfragen 503 mit Retry-After: 3600. Nach der Korrektur geht die Rate von selbst wieder hoch.
Quellen
- Crawling-Geschwindigkeit von Googlebot reduzieren – Google Crawling Infrastructuredevelopers.google.com
- Crawl-Budget verwalten – Google Crawling Infrastructuredevelopers.google.com
- Upcoming deprecation of Crawl Rate Limiter Tool in Search Console – Google Search Central Blog (11/2023)developers.google.com
- robots.txt-Spezifikation – Google Search Centraldevelopers.google.com
Stand: