Crawl-Frequenz gibt an, wie oft ein Crawler eine Website oder einzelne URLs abruft. Bei Google legt der Seitenbetreiber diesen Wert nicht fest, die Systeme stellen ihn laufend auf Serverzustand und Nachfrage ein.
Was bestimmt die Crawl-Frequenz?
Google nennt zwei Größen: das Crawl Capacity Limit und die Crawl-Nachfrage. Das Limit steigt, wenn der Server stabil und schnell antwortet, und sinkt bei langsamen Antworten, 5xx-Fehlern oder dem Statuscode 429. Die Nachfrage hängt beim Googlebot unter anderem von der Größe der Website, der Aktualisierungshäufigkeit, der Seitenqualität und der Relevanz ab. Beliebte URLs holt Google häufiger ab als unbeachtete.
Erhöhen oder verringern
Eine höhere Frequenz lässt sich bei Google nicht anfordern. Das Crawl-Rate-Limiter-Tool in der Search Console kündigte Google im November 2023 zur Abschaltung an. Presseberichten zufolge war es seit dem 8. Januar 2024 nicht mehr verfügbar. Um den Googlebot kurzfristig zu bremsen, empfiehlt Google die Statuscodes 500, 503 oder 429, und das höchstens ein bis zwei Tage lang. Auf Dauer hilft es mehr, die Ursache zu beheben, etwa Filter-URLs oder Kalenderseiten mit endlos vielen Adressen.
Wo lässt sich die Frequenz ablesen?
Der Bericht „Crawling-Statistik“ in der Search Console zeigt Crawling-Anfragen, Download-Größe, Reaktionszeit und Hoststatus der letzten 90 Tage. Er richtet sich laut Google an Websites mit mehr als 1.000 Seiten. Serverlogs enthalten zusätzlich die Abrufe anderer Bots.
Crawl-Frequenz, Crawl-Rate und Crawl-Budget
Die drei Begriffe werden oft gleichbedeutend verwendet. Eine Definition gibt Google nur für das Crawl-Budget. Gemeint ist die Menge an URLs, die Google crawlen kann und will. In diesem Glossar meint Crawl-Frequenz, wie oft eine URL oder Website abgerufen wird, und Crawl-Rate die Zahl der Abrufe in einem Zeitraum (Einschätzung).
Beispiel
Ein Shop schaltet einen neuen Filter frei, der Tausende Parameter-URLs erzeugt. Die Crawling-Statistik zeigt danach mehr Anfragen, während neue Produktseiten später im Index erscheinen. Wer die Filter-URLs aus dem Crawling nimmt, verschiebt Googles Abrufe wieder auf die relevanten Seiten.
Häufige Fragen
Wie oft crawlt Google eine Website? Einen festen Takt gibt es nicht. Die Frequenz unterscheidet sich je Website und je URL.
Quellen
- Optimize your crawl budget (Crawl Capacity Limit, Crawl Demand) – Google Search Centraldevelopers.google.com
- Reduce the Googlebot crawl rate – Google Search Centraldevelopers.google.com
- Bericht „Crawling-Statistik“ – Search Console-Hilfesupport.google.com
- Upcoming deprecation of Crawl Rate Limiter Tool in Search Console – Google Search Central Blog (11/2023)developers.google.com
- Googlebot crawl rate tool is now gone – Search Engine Land (01/2024)searchengineland.com
Stand: