English

Indexierung bezeichnet im SEO den Schritt, in dem eine Suchmaschine eine gecrawlte Seite analysiert und in ihren Index aufnimmt, also in die Datenbank, aus der sie Suchergebnisse zusammenstellt. Nur indexierte Seiten können in den organischen Ergebnissen erscheinen.

Auf einen Blick

Art
Analyse einer gecrawlten Seite und Aufnahme in den Suchindex
Schritt in der Google Suche
zweiter von drei (nach dem Crawling, vor der Ausgabe)
Garantiert?
nein, laut Google entscheidet die Suchmaschine
Verhindern mit
noindex (Meta-Tag oder X-Robots-Tag), Seite muss crawlbar sein

Stand:

Wie läuft die Indexierung bei Google ab?

Die Indexierung folgt auf das Crawling. Google wertet dabei Text, Bilder, Videos und wichtige Elemente wie den Title aus. Ähnliche Seiten fasst Google zu Gruppen zusammen und wählt je Gruppe eine kanonische Seite, die in den Ergebnissen erscheinen soll. Dazu speichert Google Signale wie Sprache, Land und Nutzerfreundlichkeit der Seite.

Google sagt ausdrücklich, dass die Indexierung nicht garantiert ist. Als realistisches Ziel nennt die Search Console-Hilfe die Indexierung der kanonischen Seiten einer Website.

Von der URL zum SuchergebnisFünf Stationen von links nach rechts: Entdecken über Links und Sitemaps, Crawlen nach Prüfung der robots.txt, Rendern nach der Wartezeit in der Render-Queue, Indexieren mit Bildung von Duplikat-Clustern und Wahl der kanonischen URL, Ausliefern passender Treffer. Links aus dem gerenderten HTML führen zurück zum Entdecken. Unter jeder Station stehen typische Hürden laut Google.1 · CRAWLING2 · INDEXIERUNG3 · ERGEBNISSEEntdeckenLinks aufbekannten Seiten,SitemapsCrawlenrobots.txtprüfen, dannURL abrufenRendernRender-QueueChromium führtJavaScript ausIndexierenCluster bilden,Kanonische wählen,speichernAusliefernTreffer ausdem Index zurSuchanfrageneue Links aus dem gerenderten HTMLTYPISCHE HÜRDEN LAUT GOOGLEkein Link,keine Sitemap*Server- oderNetzwerkfehler,robots.txt sperrtkein Status 200oder noindex:evtl. kein Renderngeringe Qualität,noindex, Duplikateiner anderen URLnicht relevant,geringe Qualität,Robots-Meta-RegelSchematisch. Google zählt Entdecken und Rendern zur Stufe Crawling.* Schlussfolgerung, keine Google-Aussage.
Schematischer Weg einer URL durch die Google Suche. Google beschreibt drei Stufen: Crawling (mit Entdecken und Rendern), Indexierung und Ausgabe der Suchergebnisse. Eine Indexierung ist nicht garantiert. Quellen: Google Search Central: Umfassender Leitfaden zur Funktionsweise der Google Suche; Google Search Central: Grundlagen von JavaScript-SEO.

Crawling und Indexierung

Beide Schritte hängen zusammen, sind aber getrennt steuerbar. Eine Seite kann gecrawlt und trotzdem nicht indexiert sein. Im Bericht zur Seitenindexierung der Search Console heißt das „Gecrawlt – zurzeit nicht indexiert“. Bei „Gefunden – zurzeit nicht indexiert“ kennt Google die URL, hat sie aber noch nicht abgerufen.

Beispiel

Ein Shop will Suchergebnisseiten der internen Suche aus dem Google-Index heraushalten. Ein Eintrag in der robots.txt reicht dafür nicht. Google weist darauf hin, dass eine per robots.txt gesperrte URL trotzdem im Index landen kann, wenn andere Seiten auf sie verlinken. Zuverlässig wirkt ein noindex im HTML-Kopf, und die Seite muss dafür crawlbar bleiben:

HTML
<meta name="robots" content="noindex">

Häufige Fehler

  • noindex im ausgelieferten HTML und erst per JavaScript entfernen. Trifft Google auf noindex, überspringt es unter Umständen das Rendering. Soll die Seite indexiert werden, gehört laut Google kein noindex in den ursprünglichen Code.
  • noindex und robots.txt-Sperre kombinieren. Ist die Seite per robots.txt gesperrt, sieht Google das noindex nie. Die URL kann dann trotzdem in den Ergebnissen erscheinen, wenn andere Seiten auf sie verlinken.
  • Duplikat-Status als Fehler werten. Ist eine Seite im Bericht als Duplikat oder alternative Seite markiert, ist das laut Search Console-Hilfe meist ein gutes Zeichen. Google hat dann die kanonische Seite gefunden und indexiert.

Häufige Fragen

Wie prüfe ich, ob eine Seite indexiert ist? Mit dem URL-Prüftool der Google Search Console. Es zeigt für eine einzelne URL, ob sie im Index ist und welche kanonische URL Google gewählt hat.

Warum wird meine Seite nicht indexiert? Häufige technische Gründe sind ein noindex, eine andere als kanonisch gewählte URL, Serverfehler oder eine Weiterleitung. Ohne technischen Fehler entscheidet Google selbst, ob eine Seite aufgenommen wird.

Wie lange dauert die Indexierung? Eine feste Dauer gibt es nicht. Google schreibt, dass schon das Crawling nach einer Anfrage einige Tage oder mehrere Wochen dauern kann. Einzelne URLs lassen sich im URL-Prüftool zur Indexierung einreichen, dafür gilt ein Kontingent. Für viele URLs empfiehlt Google eine Sitemap. Mehrfaches Einreichen derselben URL beschleunigt nichts.

Quellen

  1. So funktioniert die Google Suche – Google Search Centraldevelopers.google.com
  2. Bericht zur Seitenindexierung – Search Console-Hilfesupport.google.com
  3. Einführung in robots.txt – Google Search Centraldevelopers.google.com
  4. Indexierung mit noindex blockieren – Google Search Centraldevelopers.google.com
  5. URL-Prüftool – Search Console-Hilfesupport.google.com
  6. Google bitten, URLs noch einmal zu crawlen – Google Search Centraldevelopers.google.com
  7. JavaScript-SEO-Grundlagen – Google Search Centraldevelopers.google.com

Stand: