# Crawler-Falle (Spider Trap)

Kategorie: [Crawling & Indexierung](https://seo-geo-glossary.com/de/glossar/kategorie/crawling-indexierung/) › [Crawling & Crawl-Budget](https://seo-geo-glossary.com/de/glossar/kategorie/crawling-indexierung/crawling-crawl-budget/) · Auch genannt: Spider Trap, Crawler Trap, Crawler-Falle

Eine **Crawler-Falle** (englisch Spider Trap oder Crawler Trap) ist im SEO ein Bereich einer Website, in dem ein Crawler immer neue URLs findet, die kaum oder gar keine neuen Inhalte liefern. Typische Auslöser sind endlose Kalender, Filterkombinationen, Session-IDs in URLs und fehlerhafte relative Links.

## Wie entsteht eine Crawler-Falle?

Google beschrieb das Problem 2008 als „infinite space“: eine sehr große Zahl von Links, die dem Googlebot wenig oder nichts Neues zum Indexieren bieten. Als Beispiele nannte Google einen Kalender mit „Nächster Monat“-Link, dem man beliebig weit folgen kann, und Shops, deren Filter für Kategorie, Preis, Farbe und Marke immer neue URL-Kombinationen erzeugen.

Häufige Ursachen:

- **Kalender und Datumsarchive**, die ohne Ende in die Zukunft oder Vergangenheit verlinken.
- **Filter und Sortierungen**, bei denen jede Kombination eine eigene URL bekommt.
- **Session-IDs oder Tracking-Parameter** in internen Links. Derselbe Inhalt erscheint unter immer neuen Adressen.
- **Relative Links ohne führenden Schrägstrich**, durch die Pfade bei jedem Klick länger werden.
- **Soft-404-Seiten**, die für beliebige, nicht existierende Pfade eine normale Seite mit Status 200 ausliefern.
- **Verlinkte interne Suchergebnisse**, deren Suchbegriffe sich frei kombinieren lassen.

## Was bedeutet eine Crawler-Falle für SEO?

Laut Google führen solche URL-Mengen zu übermäßigem Crawling und dazu, dass neue, nützliche Seiten langsamer entdeckt werden. Soft-404-Seiten werden weiter gecrawlt und verbrauchen Crawling-Budget. Googles Crawl-Budget-Leitfaden richtet sich an große Websites (ab etwa einer Million Seiten mit wöchentlichen Änderungen oder ab etwa 10.000 Seiten mit täglichen Änderungen). Bei kleinen Websites bleibt eine Crawler-Falle deshalb nach unserer Einschätzung oft ohne messbare Folgen, wird aber spätestens bei einem eigenen Crawl sichtbar, der nicht mehr endet.

## Beispiel

Auf der Seite `https://www.example.com/blog/` steht dieser Link:

```html
<a href="blog/seite-2/">Weiter</a>
```

Nach den Regeln zur Auflösung relativer URLs (RFC 3986) wird daraus `https://www.example.com/blog/blog/seite-2/`. Liefert der Server dort dieselbe Vorlage mit Status 200 aus, enthält auch diese Seite den Link, und der nächste Aufruf landet bei `/blog/blog/blog/seite-2/`. Mit `href="/blog/seite-2/"` wäre der Pfad absolut und die Kette würde nicht entstehen.

## Wie erkennt und behebt man Crawler-Fallen?

Hinweise liefern ein eigener Crawl der Website (URL-Zahlen, die in einem Verzeichnis stark wachsen, sich wiederholende Pfadsegmente, lange Parameterketten) und Server-Logfiles, in denen Bots viele Parameter-URLs abrufen.

Am besten wird die Ursache behoben: absolute Pfade verwenden, für nicht existierende URLs den Status 404 senden, Kalender auf sinnvolle Zeiträume begrenzen. Bereiche, die nicht gecrawlt werden sollen, lassen sich per robots.txt sperren. Ein `noindex` hilft gegen Crawler-Fallen wenig, denn Google ruft die Seite trotzdem ab und ignoriert sie erst danach.

Ältere Anleitungen empfehlen das URL-Parameter-Tool der Google Search Console. Google kündigte am 28. März 2022 an, es einen Monat später einzustellen, weil seine Crawler den Umgang mit Parametern selbst lernen.

## Häufige Fehler

- **Leere Filterkombinationen mit Status 200.** Liefert eine Filterkombination keine Ergebnisse, empfiehlt Google den Statuscode 404. Sonst entsteht für jede sinnlose Kombination eine weitere crawlbare Seite.
- **Filter in wechselnder Reihenfolge.** Google rät, die Reihenfolge der Filter in der URL immer gleich zu halten und doppelte Filter auszuschließen. Andernfalls zeigt jede Reihenfolge denselben Inhalt unter einer neuen Adresse.
- **Nur Canonical oder nofollow einsetzen.** Für das Crawling-Volumen sind `rel="canonical"` und `rel="nofollow"` laut Google langfristig weniger wirksam als eine Sperre per robots.txt oder Filter in URL-Fragmenten (`#`).

## Häufige Fragen

**Warum zeigt Google bei „spider trap“ Insektenfallen?**
Der englische Begriff bezeichnet auch Spinnenfallen. Bei google.de lieferte die Suche im Oktober 2026 in den Top 5 ausschließlich Produkte und Videos dazu. Für die SEO-Bedeutung ist „Crawler-Falle“ oder „crawler trap“ eindeutiger.

## Auf einen Blick

- **Art:** Bereich einer Website mit endlos neuen URLs ohne neuen Inhalt
- **Typische Ursachen:** Kalender, Filterkombinationen, Session-IDs, relative Links
- **Wirkt auf:** Crawling-Volumen und Entdeckung neuer Seiten
- **Bei Google beschrieben:** 2008 als „infinite space“
- **Doku:** [Google: Crawling von facettierten Navigations-URLs verwalten](https://developers.google.com/search/docs/crawling-indexing/crawling-managing-faceted-navigation?hl=de)

Stand: 8. Oktober 2026

*Grafik: Wie Filter URLs vervielfachen.* Eigenes Rechenbeispiel. Schon drei Filter machen aus einer Kategorie tausende URLs. Google beschreibt zwei Wege, je nachdem, ob die Filterseiten in die Suche sollen.

*Grafik: Crawl-Budget aus Kapazität und Bedarf.* Google definiert das Crawl-Budget als die URLs, die Google crawlen kann und will. Den bekannten URL-Bestand kann eine Website laut Google am stärksten selbst beeinflussen.

## Verwandte Begriffe

- [Crawler](https://seo-geo-glossary.com/de/glossar/crawler/index.md)
- [Crawl-Budget](https://seo-geo-glossary.com/de/glossar/crawl-budget/index.md)
- [Facettierte Navigation (Filter)](https://seo-geo-glossary.com/de/glossar/facettierte-navigation/index.md)
- [URL-Parameter](https://seo-geo-glossary.com/de/glossar/url-parameter/index.md)
- [Soft 404](https://seo-geo-glossary.com/de/glossar/soft-404/index.md)
- [robots.txt](https://seo-geo-glossary.com/de/glossar/robots-txt/index.md)
- [Crawler-Direktiven](https://seo-geo-glossary.com/de/glossar/crawler-direktiven/index.md)

## Quellen

- [To infinity and beyond? No! – Google Webmaster Central Blog, 05.08.2008](https://developers.google.com/search/blog/2008/08/to-infinity-and-beyond-no)
- [Crawling-Budget für große Websites verwalten – Google Search Central](https://developers.google.com/crawling/docs/crawl-budget?hl=de)
- [Crawling von facettierten Navigations-URLs verwalten – Google Search Central](https://developers.google.com/search/docs/crawling-indexing/crawling-managing-faceted-navigation?hl=de)
- [RFC 3986, Abschnitt 5: Reference Resolution](https://www.rfc-editor.org/rfc/rfc3986#section-5)
- [Spring cleaning: the URL Parameters tool – Google Search Central Blog, 28.03.2022](https://developers.google.com/search/blog/2022/03/url-parameters-tool-deprecated)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/crawler-falle/