Crawling (deutsch meist „Crawlen“) ist der automatische Abruf von Webseiten durch ein Programm, den Crawler. Suchmaschinen crawlen das Web, um neue und geänderte Seiten zu finden. Crawling ist der erste von drei Schritten in der Google Suche. Danach folgen Indexierung und die Ausgabe in den Suchergebnissen.
Auf einen Blick
- Art
- automatischer Abruf von Webseiten durch einen Crawler
- Stufe in der Google Suche
- erste von drei (Crawling, Indexierung, Ausgabe)
- Steuerung
- robots.txt (RFC 9309), XML-Sitemaps, interne Links
- Sichtbar in
- Crawling-Statistikbericht der Search Console, Server-Logfiles
Stand:
Wie läuft Crawling ab?
Am Anfang steht die URL-Erkennung. Google kennt viele Seiten von früheren Besuchen, andere findet es über Links auf bekannten Seiten oder über eingereichte Sitemaps. Googlebot entscheidet dann algorithmisch, welche Websites er wann und wie oft abruft und wie viele Seiten er von jeder Website holt.
Beim Abruf selbst prüft der Crawler zuerst die robots.txt. Dann fordert er die URL an und wertet die Serverantwort aus. Liefert die Seite Inhalt, rendert Google sie mit einer aktuellen Chrome-Version, damit auch per JavaScript erzeugte Inhalte und Links sichtbar werden. Neu gefundene Links landen wieder in der Warteschlange.
Wie schnell gecrawlt wird, hängt auch vom Server ab. Google-Crawler sind laut Google so programmiert, dass sie eine Website nicht überlasten. Antwortet der Server zum Beispiel mit HTTP-Fehlern der Klasse 500, wird Googlebot langsamer.
Crawling und Indexierung
Eine gecrawlte Seite ist noch nicht indexiert. Bei der Indexierung analysiert Google den Inhalt, erkennt Duplikate und wählt eine kanonische URL. Umgekehrt kann eine URL sogar ohne Crawling im Index auftauchen, etwa wenn sie per robots.txt gesperrt ist, aber von anderen Seiten verlinkt wird. Wer eine Seite aus dem Index halten will, braucht deshalb noindex und muss das Crawling dafür erlauben.
Crawling steuern und beobachten
- robots.txt legt fest, welche Pfade ein Crawler abrufen darf. Das Protokoll ist seit 2022 als RFC 9309 standardisiert.
- XML-Sitemaps melden URLs, die gecrawlt werden sollen.
- Interne Links bestimmen, welche Seiten ein Crawler findet.
- Statuscodes und Weiterleitungen entscheiden, ob ein Abruf Inhalt liefert oder ins Leere läuft.
In der Google Search Console zeigt der Bericht „Crawling-Statistik“ Anfragen, Antwortcodes, Dateitypen, Googlebot-Varianten und den Host-Status. Google empfiehlt ihn vor allem für Websites mit mehr als 1.000 Seiten. SEO-Teams setzen zusätzlich eigene Crawler ein, um ihre Website so abzurufen wie eine Suchmaschine und Fehler zu finden.
Beispiel
Ein Onlineshop veröffentlicht 500 neue Produktseiten, verlinkt sie aber nur über eine interne Suche. Googlebot findet sie über die Navigation nicht. Erst wenn die Seiten in einer Sitemap stehen oder aus Kategorieseiten verlinkt werden, kann Google sie crawlen.
Häufige Fehler
- CSS und JavaScript per robots.txt sperren. Google rät davon ab, wenn die Seite ohne diese Ressourcen schwerer zu verstehen ist. Sonst kann Google Seiten, die davon abhängen, nicht richtig analysieren.
- Crawling mit 403 oder 404 bremsen. Alle Statuscodes der Klasse 4xx außer 429 führen laut Google dazu, dass Inhalte aus der Google Suche entfernt werden. Zum kurzfristigen Drosseln nennt Google 500, 503 oder 429.
- Fehlercodes tagelang ausliefern. Liefert eine URL über mehrere Tage 500, 503 oder 429, kann sie laut Google aus dem Index fallen. Google rät, das Drosseln auf ein bis zwei Tage zu begrenzen.
Häufige Fragen
Was heißt Crawling? Das englische „to crawl“ bedeutet kriechen. Gemeint ist, dass sich ein Programm automatisch von Link zu Link durch das Web bewegt.
Wie kann ich Google crawlen lassen? Neue Seiten intern verlinken und in die XML-Sitemap aufnehmen. Einzelne URLs lassen sich in der Search Console über das URL-Prüftool zum Crawlen einreichen. Einen Anspruch darauf gibt es nicht.
Ist es erlaubt, Webseiten zu crawlen? Technisch kann jeder öffentliche Seiten abrufen. Die robots.txt drückt die Wünsche des Betreibers aus, ist laut RFC 9309 aber keine Zugriffsautorisierung. § 44b UrhG regelt Vervielfältigungen für das Text und Data Mining und den Nutzungsvorbehalt, der bei online verfügbaren Werken in maschinenlesbarer Form erklärt werden muss.
Keine Rechtsberatung.
Quellen
- So funktioniert die Google Suche – Google Search Centraldevelopers.google.com
- Crawling und Indexierung von Google – Google Search Centraldevelopers.google.com
- Bericht „Crawling-Statistik“ – Search Console-Hilfesupport.google.com
- Einführung in robots.txt – Google Search Centraldevelopers.google.com
- Indexierung mit noindex blockieren – Google Search Centraldevelopers.google.com
- RFC 9309: Robots Exclusion Protocolrfc-editor.org
- § 44b UrhG – Text und Data Mining (gesetze-im-internet.de)gesetze-im-internet.de
- Don't 404 my yum! – Google Search Central Blog (17.02.2023)developers.google.com
- Crawling-Frequenz von Google reduzieren – Google Crawling Infrastructuredevelopers.google.com
Stand: