Crawl Demand ist der Teil des Crawl-Budgets, der beschreibt, wie viel ein Crawler von einer Website crawlen will. Der andere Teil ist das Crawl-Kapazitätslimit, das festlegt, was der Server verträgt.
Wovon hängt Crawl Demand ab?
Laut Google richtet sich der Bedarf beim Googlebot nach Größe der Website, Aktualisierungshäufigkeit, Seitenqualität und Relevanz. Die Doku nennt drei Faktoren.
- Perceived Inventory (wahrgenommener Seitenbestand): Ohne Hinweise versucht Google, alle URLs zu crawlen, die es kennt. Sind viele davon Duplikate oder unerwünscht, geht Crawling-Zeit verloren. Das ist der Faktor, den Website-Betreiber am stärksten beeinflussen können.
- Popularity: URLs, die im Internet beliebter sind, werden tendenziell häufiger gecrawlt.
- Staleness: Google will Seiten oft genug erneut abrufen, um Änderungen mitzubekommen.
Beispiel
Ein Shop erzeugt durch Filterkombinationen Tausende URLs mit nahezu gleichem Inhalt. Der Seitenbestand wirkt für Google groß, und ein Teil der Crawl-Zeit fließt in diese Varianten. Begrenzt der Betreiber diese Varianten, steht mehr Crawling-Zeit für die wichtigen Seiten zur Verfügung (Beispiel, Annahme).
Quellen
- Crawl-Budget verwalten – Google Crawling Infrastructuredevelopers.google.com
Stand: