English
Canonicals & Duplicate Content

Index Bloat

Index Bloat beschreibt eine Website, von der Google deutlich mehr URLs indexiert hat, als für Suchende nützlich sind. Meist stecken Duplikate, Parameter-URLs oder dünne Seiten dahinter. Der Begriff ist SEO-Fachsprache und kommt in Googles Dokumentation nicht vor.

Ursachen und Erkennung

Typische Quellen sind Filter- und Sortier-URLs, Session-IDs, interne Suchergebnisse und Tag-Seiten. Auffällig wird es, wenn der Seitenindexierungsbericht in der Search Console erheblich mehr indexierte URLs zeigt, als die Sitemap enthält.

Auswirkungen

Google beschreibt Crawl Budget als relevant für sehr große Websites ab etwa 1 Million Seiten oder ab 10.000 Seiten mit täglich wechselnden Inhalten. Bei kleineren Websites wirkt sich ein aufgeblähter Index seltener aufs Crawling aus. Doppelte URLs verteilen zudem Signale auf mehrere Adressen.

Crawl-Budget aus Crawl-Kapazität und Crawl-BedarfZwei Größen bestimmen das Crawl-Budget. Die Crawl-Kapazität sagt, wie viel Google crawlen kann, ohne den Server zu überlasten; sie steigt bei stabilen, schnellen Antworten und sinkt bei langsamen Antworten, 5xx-Fehlern und 429. Der Crawl-Bedarf sagt, wie viel Google crawlen will; er hängt vom bekannten URL-Bestand, der Beliebtheit und der Aktualität ab. Darunter stehen URL-Arten, die Budget ohne Nutzen verbrauchen: Duplikate, Facetten-URLs, Soft 404, lange Weiterleitungsketten und Sortiervarianten.Crawl-KapazitätWie viel Google crawlen kann,ohne den Server zu überlasten↑ stabile, schnelle Antworten↓ langsame Antworten, 5xx, 429Crawl-BedarfWie viel Google crawlen will• bekannter URL-Bestand• Beliebtheit der URLs• Aktualität: Änderungen erfassenCrawl-Budgetdie URLs, die Googlecrawlen kann und willschematisch, keine FormelVERBRAUCHT BUDGET OHNE NUTZENDuplikateFacetten-URLsSoft 404lange Weiter-leitungskettenSortier-variantenWird zu viel Zeit für solche URLs verbraucht, erreicht Google den Rest der Website womöglich nicht.
Schematisch: Crawl-Budget nach Googles Modell. Index Bloat selbst ist kein Begriff aus Googles Dokumentation. Quellen: Google Crawling: Crawling-Budget optimieren; Google Crawling: Crawling von Facettensuche-URLs verwalten.

Gegenmaßnahmen laut Google

  • Doppelte Inhalte zusammenführen
  • Soft-404-Fehler beheben
  • Dauerhaft entfernte Seiten mit 404 oder 410 beantworten
  • Crawling unerwünschter Bereiche über die robots.txt begrenzen. Gesperrte URLs können trotzdem im Index auftauchen, wenn sie verlinkt sind.

Beispiel (konstruiert)

Ein Shop reicht 20.000 Produkt-URLs per Sitemap ein. Der Seitenindexierungsbericht zählt 180.000 indexierte URLs. Der Überschuss besteht aus Filter- und Sortierkombinationen.

Quellen

  1. Crawl Budget Management for Large Sites – Google Search Centraldevelopers.google.com
  2. Intro to robots.txt – Google Search Centraldevelopers.google.com
  3. Bericht zur Seitenindexierung – Search Console-Hilfesupport.google.com

Stand: