# Crawling Kategorie: [Crawling & Indexierung](https://seo-geo-glossary.com/de/glossar/kategorie/crawling-indexierung/) › [Crawling & Crawl-Budget](https://seo-geo-glossary.com/de/glossar/kategorie/crawling-indexierung/crawling-crawl-budget/) · Auch genannt: Crawlen, Web Crawling **Crawling** (deutsch meist „Crawlen“) ist der automatische Abruf von Webseiten durch ein Programm, den Crawler. Suchmaschinen crawlen das Web, um neue und geänderte Seiten zu finden. Crawling ist der erste von drei Schritten in der Google Suche. Danach folgen Indexierung und die Ausgabe in den Suchergebnissen. ## Wie läuft Crawling ab? Am Anfang steht die URL-Erkennung. Google kennt viele Seiten von früheren Besuchen, andere findet es über Links auf bekannten Seiten oder über eingereichte Sitemaps. Googlebot entscheidet dann algorithmisch, welche Websites er wann und wie oft abruft und wie viele Seiten er von jeder Website holt. Beim Abruf selbst prüft der Crawler zuerst die robots.txt. Dann fordert er die URL an und wertet die Serverantwort aus. Liefert die Seite Inhalt, rendert Google sie mit einer aktuellen Chrome-Version, damit auch per JavaScript erzeugte Inhalte und Links sichtbar werden. Neu gefundene Links landen wieder in der Warteschlange. Wie schnell gecrawlt wird, hängt auch vom Server ab. Google-Crawler sind laut Google so programmiert, dass sie eine Website nicht überlasten. Antwortet der Server zum Beispiel mit HTTP-Fehlern der Klasse 500, wird Googlebot langsamer. ## Crawling und Indexierung Eine gecrawlte Seite ist noch nicht indexiert. Bei der Indexierung analysiert Google den Inhalt, erkennt Duplikate und wählt eine kanonische URL. Umgekehrt kann eine URL sogar ohne Crawling im Index auftauchen, etwa wenn sie per robots.txt gesperrt ist, aber von anderen Seiten verlinkt wird. Wer eine Seite aus dem Index halten will, braucht deshalb noindex und muss das Crawling dafür erlauben. ## Crawling steuern und beobachten - **robots.txt** legt fest, welche Pfade ein Crawler abrufen darf. Das Protokoll ist seit 2022 als RFC 9309 standardisiert. - **XML-Sitemaps** melden URLs, die gecrawlt werden sollen. - **Interne Links** bestimmen, welche Seiten ein Crawler findet. - **Statuscodes und Weiterleitungen** entscheiden, ob ein Abruf Inhalt liefert oder ins Leere läuft. In der Google Search Console zeigt der Bericht „Crawling-Statistik“ Anfragen, Antwortcodes, Dateitypen, Googlebot-Varianten und den Host-Status. Google empfiehlt ihn vor allem für Websites mit mehr als 1.000 Seiten. SEO-Teams setzen zusätzlich eigene Crawler ein, um ihre Website so abzurufen wie eine Suchmaschine und Fehler zu finden. ## Beispiel Ein Onlineshop veröffentlicht 500 neue Produktseiten, verlinkt sie aber nur über eine interne Suche. Googlebot findet sie über die Navigation nicht. Erst wenn die Seiten in einer Sitemap stehen oder aus Kategorieseiten verlinkt werden, kann Google sie crawlen. ## Häufige Fehler - **CSS und JavaScript per robots.txt sperren.** Google rät davon ab, wenn die Seite ohne diese Ressourcen schwerer zu verstehen ist. Sonst kann Google Seiten, die davon abhängen, nicht richtig analysieren. - **Crawling mit 403 oder 404 bremsen.** Alle Statuscodes der Klasse 4xx außer 429 führen laut Google dazu, dass Inhalte aus der Google Suche entfernt werden. Zum kurzfristigen Drosseln nennt Google 500, 503 oder 429. - **Fehlercodes tagelang ausliefern.** Liefert eine URL über mehrere Tage 500, 503 oder 429, kann sie laut Google aus dem Index fallen. Google rät, das Drosseln auf ein bis zwei Tage zu begrenzen. ## Häufige Fragen **Was heißt Crawling?** Das englische „to crawl“ bedeutet kriechen. Gemeint ist, dass sich ein Programm automatisch von Link zu Link durch das Web bewegt. **Wie kann ich Google crawlen lassen?** Neue Seiten intern verlinken und in die XML-Sitemap aufnehmen. Einzelne URLs lassen sich in der Search Console über das URL-Prüftool zum Crawlen einreichen. Einen Anspruch darauf gibt es nicht. **Ist es erlaubt, Webseiten zu crawlen?** Technisch kann jeder öffentliche Seiten abrufen. Die robots.txt drückt die Wünsche des Betreibers aus, ist laut RFC 9309 aber keine Zugriffsautorisierung. § 44b UrhG regelt Vervielfältigungen für das Text und Data Mining und den Nutzungsvorbehalt, der bei online verfügbaren Werken in maschinenlesbarer Form erklärt werden muss. Keine Rechtsberatung. ## Auf einen Blick - **Art:** automatischer Abruf von Webseiten durch einen Crawler - **Stufe in der Google Suche:** erste von drei (Crawling, Indexierung, Ausgabe) - **Steuerung:** robots.txt (RFC 9309), XML-Sitemaps, interne Links - **Sichtbar in:** Crawling-Statistikbericht der Search Console, Server-Logfiles - **Doku:** [Google: So funktioniert die Google Suche](https://developers.google.com/search/docs/fundamentals/how-search-works?hl=de) Stand: 8. Oktober 2026 *Grafik: Von der URL zum Suchergebnis.* Schematischer Weg einer URL durch die Google Suche. Google beschreibt drei Stufen: Crawling (mit Entdecken und Rendern), Indexierung und Ausgabe der Suchergebnisse. Eine Indexierung ist nicht garantiert. ## Nicht verwechseln - [Indexierung](https://seo-geo-glossary.com/de/glossar/indexierung/index.md): folgt auf das Crawling. Google analysiert den abgerufenen Inhalt, fasst Duplikate zusammen und entscheidet, ob die Seite in den Index kommt. ## Verwandte Begriffe - [Crawling-Fehler](https://seo-geo-glossary.com/de/glossar/crawling-fehler/index.md) - [Focused Crawling](https://seo-geo-glossary.com/de/glossar/focused-crawling/index.md) - [Crawling-Statistik (Search Console)](https://seo-geo-glossary.com/de/glossar/crawling-statistik/index.md) ## Quellen - [So funktioniert die Google Suche – Google Search Central](https://developers.google.com/search/docs/fundamentals/how-search-works?hl=de) - [Crawling und Indexierung von Google – Google Search Central](https://developers.google.com/search/docs/crawling-indexing?hl=de) - [Bericht „Crawling-Statistik“ – Search Console-Hilfe](https://support.google.com/webmasters/answer/9679690?hl=de) - [Einführung in robots.txt – Google Search Central](https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=de) - [Indexierung mit noindex blockieren – Google Search Central](https://developers.google.com/search/docs/crawling-indexing/block-indexing?hl=de) - [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html) - [§ 44b UrhG – Text und Data Mining (gesetze-im-internet.de)](https://www.gesetze-im-internet.de/urhg/__44b.html) - [Don't 404 my yum! – Google Search Central Blog (17.02.2023)](https://developers.google.com/search/blog/2023/02/dont-404-my-yum) - [Crawling-Frequenz von Google reduzieren – Google Crawling Infrastructure](https://developers.google.com/crawling/docs/crawlers-fetchers/reduce-crawl-rate?hl=de) --- Stand: 8. Oktober 2026 URL: https://seo-geo-glossary.com/de/glossar/crawling/