Fresh Crawl und Deep Crawl sind historische Begriffe aus Googles Anfangsjahren. Der Fresh Crawl rief häufig aktualisierte Seiten besonders oft ab, der Deep Crawl durchlief eine Website gründlich in ihrer Tiefe. Als getrennte Crawl-Arten gelten beide Begriffe als überholt.
Woher stammen die Begriffe?
Laut Seobility-Wiki hießen die beiden Crawler Freshbot und Deepbot. Der Freshbot passte seine Frequenz an die Änderungsrate der Inhalte an. Der Deepbot folgte allen auffindbaren Links, um möglichst die gesamte Seitenstruktur zu erfassen.
Matt Cutts, damals bei Google, schrieb 2007, dass Google mit dem „Update Fritz“ im Sommer 2003 von einem monatlichen Batch-Update auf ein inkrementelles Update umgestellt habe. Seitdem wurde täglich oder nahezu täglich ein Teil des Index aufgefrischt, und es gab neben dem normalen Crawl einen „fresh crawl“. Zu Cutts’ Einstieg bei Google Anfang 2000 gab es laut seiner Schilderung Phasen von drei bis vier Monaten oder mehr ohne Index-Update, ab Mitte 2000 wurde der Index etwa monatlich aktualisiert.
Was gilt heute?
Das Seobility-Wiki bezeichnet die Begriffe als überholt, in der SEO-Praxis werden sie kaum noch verwendet. Googles Dokumentation zum Crawl-Budget beschreibt es heute über zwei Faktoren, das Crawl Capacity Limit (wie viel Google crawlen kann, ohne den Server zu überlasten) und die Crawl Demand (wie viel Google crawlen möchte). Dazu gehört auch, wie oft Seiten neu abgerufen werden.
Beispiel
Cutts beschreibt 2007, dass Blogposts bereits innerhalb einer Stunde nach Veröffentlichung im Google-Index erscheinen konnten.
Quellen
- Minty Fresh Indexing – Matt Cutts (07.08.2007)mattcutts.com
- Deepbot / Freshbot – Seobility Wikiseobility.net
- Crawl-Budget – Google Search Centraldevelopers.google.com
Stand: