English
Crawling & Crawl-Budget

Crawler-Falle (Spider Trap)

Auch genannt: Spider Trap, Crawler Trap, Crawler-Falle

Eine Crawler-Falle (englisch Spider Trap oder Crawler Trap) ist im SEO ein Bereich einer Website, in dem ein Crawler immer neue URLs findet, die kaum oder gar keine neuen Inhalte liefern. Typische Auslöser sind endlose Kalender, Filterkombinationen, Session-IDs in URLs und fehlerhafte relative Links.

Auf einen Blick

Art
Bereich einer Website mit endlos neuen URLs ohne neuen Inhalt
Typische Ursachen
Kalender, Filterkombinationen, Session-IDs, relative Links
Wirkt auf
Crawling-Volumen und Entdeckung neuer Seiten
Bei Google beschrieben
2008 als „infinite space“
Doku
Google: Crawling von facettierten Navigations-URLs verwalten

Stand:

Wie entsteht eine Crawler-Falle?

Google beschrieb das Problem 2008 als „infinite space“: eine sehr große Zahl von Links, die dem Googlebot wenig oder nichts Neues zum Indexieren bieten. Als Beispiele nannte Google einen Kalender mit „Nächster Monat“-Link, dem man beliebig weit folgen kann, und Shops, deren Filter für Kategorie, Preis, Farbe und Marke immer neue URL-Kombinationen erzeugen.

Häufige Ursachen:

  • Kalender und Datumsarchive, die ohne Ende in die Zukunft oder Vergangenheit verlinken.
  • Filter und Sortierungen, bei denen jede Kombination eine eigene URL bekommt.
  • Session-IDs oder Tracking-Parameter in internen Links. Derselbe Inhalt erscheint unter immer neuen Adressen.
  • Relative Links ohne führenden Schrägstrich, durch die Pfade bei jedem Klick länger werden.
  • Soft-404-Seiten, die für beliebige, nicht existierende Pfade eine normale Seite mit Status 200 ausliefern.
  • Verlinkte interne Suchergebnisse, deren Suchbegriffe sich frei kombinieren lassen.
Wie drei Filter eine Kategorie auf tausende URLs vervielfachenEigenes Rechenbeispiel: Die Kategorie /schuhe hat drei Filter mit 8 Farben, 12 Größen und 20 Marken. Mit allen drei Filtern entstehen 8 × 12 × 20 = 1.920 URLs. Dürfen Filter auch leer bleiben, sind es 9 × 13 × 21 = 2.457, mit drei Sortierungen 7.371. Google nennt zwei Wege: URLs, die in die Suche sollen, mit fester Filterreihenfolge, ohne doppelte Filter und mit 404 bei leerer Ergebnisliste; URLs, die nicht in die Suche sollen, per robots.txt sperren oder Filter im URL-Fragment ablegen.Kategorie1 Seite/schuheFarbe8 Werte?farbe=rotGröße12 Werte&groesse=42Marke20 Werte&marke=…1 URLKategorie8 URLsmit Farbe96 URLs+ Größe1.920 URLsalle drei FilterEIGENES RECHENBEISPIEL8 × 12 × 20 = 1.920 URLs, wenn alle drei Filter gesetzt sindFilter dürfen leer bleiben: 9 × 13 × 21 = 2.457 URLsDazu 3 Sortierungen (?sort=preis …): 2.457 × 3 = 7.371 URLsJede andere Reihenfolge der Parameter ergibt eine weitere URL.Sollen in die Suchefeste Reihenfolge der Filter,keine doppelten Filter,404 bei leerer ErgebnislisteSollen nicht in die Sucheper robots.txt sperrenoder Filter im URL-Fragment(#farbe=rot) ablegen
Eigenes Rechenbeispiel. Schon drei Filter machen aus einer Kategorie tausende URLs. Google beschreibt zwei Wege, je nachdem, ob die Filterseiten in die Suche sollen. Quellen: Google Crawling: Crawling von Facettensuche-URLs verwalten; Google Crawling: Crawling-Budget optimieren.

Was bedeutet eine Crawler-Falle für SEO?

Laut Google führen solche URL-Mengen zu übermäßigem Crawling und dazu, dass neue, nützliche Seiten langsamer entdeckt werden. Soft-404-Seiten werden weiter gecrawlt und verbrauchen Crawling-Budget. Googles Crawl-Budget-Leitfaden richtet sich an große Websites (ab etwa einer Million Seiten mit wöchentlichen Änderungen oder ab etwa 10.000 Seiten mit täglichen Änderungen). Bei kleinen Websites bleibt eine Crawler-Falle deshalb nach unserer Einschätzung oft ohne messbare Folgen, wird aber spätestens bei einem eigenen Crawl sichtbar, der nicht mehr endet.

Crawl-Budget aus Crawl-Kapazität und Crawl-BedarfZwei Größen bestimmen das Crawl-Budget. Die Crawl-Kapazität sagt, wie viel Google crawlen kann, ohne den Server zu überlasten; sie steigt bei stabilen, schnellen Antworten und sinkt bei langsamen Antworten, 5xx-Fehlern und 429. Der Crawl-Bedarf sagt, wie viel Google crawlen will; er hängt vom bekannten URL-Bestand, der Beliebtheit und der Aktualität ab. Darunter stehen URL-Arten, die Budget ohne Nutzen verbrauchen: Duplikate, Facetten-URLs, Soft 404, lange Weiterleitungsketten und Sortiervarianten.Crawl-KapazitätWie viel Google crawlen kann,ohne den Server zu überlasten↑ stabile, schnelle Antworten↓ langsame Antworten, 5xx, 429Crawl-BedarfWie viel Google crawlen will• bekannter URL-Bestand• Beliebtheit der URLs• Aktualität: Änderungen erfassenCrawl-Budgetdie URLs, die Googlecrawlen kann und willschematisch, keine FormelVERBRAUCHT BUDGET OHNE NUTZENDuplikateFacetten-URLsSoft 404lange Weiter-leitungskettenSortier-variantenWird zu viel Zeit für solche URLs verbraucht, erreicht Google den Rest der Website womöglich nicht.
Google definiert das Crawl-Budget als die URLs, die Google crawlen kann und will. Den bekannten URL-Bestand kann eine Website laut Google am stärksten selbst beeinflussen. Quellen: Google Crawling: Crawling-Budget optimieren; Google Crawling: Crawling von Facettensuche-URLs verwalten.

Beispiel

Auf der Seite https://www.example.com/blog/ steht dieser Link:

HTML
<a href="blog/seite-2/">Weiter</a>

Nach den Regeln zur Auflösung relativer URLs (RFC 3986) wird daraus https://www.example.com/blog/blog/seite-2/. Liefert der Server dort dieselbe Vorlage mit Status 200 aus, enthält auch diese Seite den Link, und der nächste Aufruf landet bei /blog/blog/blog/seite-2/. Mit href="/blog/seite-2/" wäre der Pfad absolut und die Kette würde nicht entstehen.

Wie erkennt und behebt man Crawler-Fallen?

Hinweise liefern ein eigener Crawl der Website (URL-Zahlen, die in einem Verzeichnis stark wachsen, sich wiederholende Pfadsegmente, lange Parameterketten) und Server-Logfiles, in denen Bots viele Parameter-URLs abrufen.

Am besten wird die Ursache behoben: absolute Pfade verwenden, für nicht existierende URLs den Status 404 senden, Kalender auf sinnvolle Zeiträume begrenzen. Bereiche, die nicht gecrawlt werden sollen, lassen sich per robots.txt sperren. Ein noindex hilft gegen Crawler-Fallen wenig, denn Google ruft die Seite trotzdem ab und ignoriert sie erst danach.

Ältere Anleitungen empfehlen das URL-Parameter-Tool der Google Search Console. Google kündigte am 28. März 2022 an, es einen Monat später einzustellen, weil seine Crawler den Umgang mit Parametern selbst lernen.

Häufige Fehler

  • Leere Filterkombinationen mit Status 200. Liefert eine Filterkombination keine Ergebnisse, empfiehlt Google den Statuscode 404. Sonst entsteht für jede sinnlose Kombination eine weitere crawlbare Seite.
  • Filter in wechselnder Reihenfolge. Google rät, die Reihenfolge der Filter in der URL immer gleich zu halten und doppelte Filter auszuschließen. Andernfalls zeigt jede Reihenfolge denselben Inhalt unter einer neuen Adresse.
  • Nur Canonical oder nofollow einsetzen. Für das Crawling-Volumen sind rel="canonical" und rel="nofollow" laut Google langfristig weniger wirksam als eine Sperre per robots.txt oder Filter in URL-Fragmenten (#).

Häufige Fragen

Warum zeigt Google bei „spider trap“ Insektenfallen? Der englische Begriff bezeichnet auch Spinnenfallen. Bei google.de lieferte die Suche im Oktober 2026 in den Top 5 ausschließlich Produkte und Videos dazu. Für die SEO-Bedeutung ist „Crawler-Falle“ oder „crawler trap“ eindeutiger.

Quellen

  1. To infinity and beyond? No! – Google Webmaster Central Blog, 05.08.2008developers.google.com
  2. Crawling-Budget für große Websites verwalten – Google Search Centraldevelopers.google.com
  3. Crawling von facettierten Navigations-URLs verwalten – Google Search Centraldevelopers.google.com
  4. RFC 3986, Abschnitt 5: Reference Resolutionrfc-editor.org
  5. Spring cleaning: the URL Parameters tool – Google Search Central Blog, 28.03.2022developers.google.com

Stand: