Crawler

Wie arbeitet ein Crawler?

Ein Crawler startet mit einer Liste bekannter URLs. Er ruft jede Adresse ab, wertet die Antwort aus und übernimmt neu gefundene Links in seine Warteschlange. Google nennt als Quellen für neue URLs Links auf bereits bekannten Seiten und eingereichte Sitemaps. Wie oft und wie viele Seiten ein Crawler abruft, entscheidet er selbst. Googlebot etwa steuert die Häufigkeit algorithmisch und soll Server dabei nicht überlasten. Bei den meisten Websites greift er laut Google im Durchschnitt nur einmal alle paar Sekunden zu. Auch die Datenmenge je Abruf ist begrenzt. Google-Crawler und -Fetcher verarbeiten standardmäßig die ersten 15 MB einer Datei, Googlebot für die Google Suche die ersten 2 MB (bei PDFs 64 MB).

Bevor ein seriöser Crawler eine Seite abruft, liest er die robots.txt der Domain. Das Protokoll dafür ist seit 2022 als RFC 9309 standardisiert. Die Regeln darin sind ausdrücklich keine Zugriffssperre. Ob ein Crawler sie befolgt, liegt bei seinem Betreiber.

Arten von Crawlern

• Suchmaschinen-Crawler wie Googlebot oder Bingbot bauen den Index einer Suchmaschine auf. Googlebot gibt es in einer Smartphone- und einer Desktop-Variante, beide hören in der robots.txt auf dasselbe Token.
• KI-Crawler rufen Seiten für Sprachmodelle oder KI-Suchen ab. Manche dienen dem Training, andere dem Abruf von Quellen für eine konkrete Antwort. PerplexityBot zum Beispiel dient laut Perplexity dazu, Websites in den Suchergebnissen von Perplexity anzuzeigen und zu verlinken. Für das Training von Foundation Models wird er laut Betreiber nicht eingesetzt.
• Vom Nutzer ausgelöste Fetcher rufen eine Seite ab, weil eine Person das gerade anstößt. Google zählt dazu etwa den Site Verifier. Für solche Fetcher gelten zum Teil andere robots.txt-Regeln.
• SEO-Crawler sind Werkzeuge, mit denen Website-Betreiber ihre eigene Seite crawlen, um Fehler wie kaputte Links, Weiterleitungsketten oder fehlende Titel zu finden.

Beispiel

Ein Eintrag im Server-Logfile zeigt, welcher Crawler eine Seite abgerufen hat:

66.249.66.1 - - [06/Oct/2026:08:14:02 +0200] "GET /produkte/ HTTP/1.1" 200 18342 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Der User-Agent allein beweist nichts, denn er lässt sich fälschen. Google empfiehlt, die Herkunft per umgekehrtem DNS-Lookup der IP-Adresse oder per Abgleich mit den veröffentlichten IP-Bereichen zu prüfen.

Häufige Fragen

Was bedeutet Crawler auf Deutsch? Das englische „to crawl“ heißt kriechen. Im Deutschen wird meist der englische Fachbegriff verwendet, gemeint ist ein Programm, das sich automatisch von Seite zu Seite bewegt.

Wie kann ich Google crawlen lassen? Google findet neue Seiten über Links und Sitemaps. Eine XML-Sitemap in der Search Console einzureichen und neue Seiten intern zu verlinken, hilft beim Entdecken. Eine Garantie, dass jede Seite gecrawlt wird, gibt es nicht.

Was ist der Unterschied zwischen Crawling und Indexierung? Crawling ist der Abruf einer Seite. Indexierung ist der nächste Schritt, in dem die Suchmaschine den Inhalt analysiert und speichert. Eine gecrawlte Seite wird nicht automatisch indexiert.

Stand: 8. Oktober 2026