Crawlbarkeit (englisch Crawlability) beschreibt, ob ein Crawler wie Googlebot eine URL erreichen und abrufen kann. Sie ist die Voraussetzung dafür, dass eine Seite überhaupt in einen Suchindex gelangen kann.
Wovon hängt Crawlbarkeit ab?
Google entdeckt Seiten über bereits bekannte Seiten, über Links und über eingereichte Sitemaps. Links müssen dafür ein a-Element mit href-Attribut sein. Per Script-Ereignis ausgelöste Navigation kann Google laut eigener Doku nicht zuverlässig auslesen. Wichtige Seiten brauchen mindestens einen Link von einer anderen Seite der Site.
Blockiert wird der Zugriff durch robots.txt-Regeln des Betreibers, durch Logins oder durch Serverprobleme. Auf Serverantworten passt Googlebot seine Abrufgeschwindigkeit an. Selbst erreichbare Seiten werden laut Google nicht alle gecrawlt.
Die Crawlbarkeit sagt noch nichts darüber, ob eine Seite im Index landet. Dafür zählt die Indexierbarkeit, etwa durch noindex oder Canonical gesteuert.
Beispiel
Ein Menü öffnet Kategorien per JavaScript-Klick, ohne dass im HTML ein Link mit href steht. Die Kategorieseiten sind dann nur über die Sitemap auffindbar.
Häufige Fehler
- Disallow-Regel in der robots.txt auf einen ganzen Verzeichnisbaum
- Seiten ohne interne Links
- Inhalte hinter Login
Quellen
- So funktioniert die Google Suche – Google Search Centraldevelopers.google.com
- Links crawlbar machen – Google Search Centraldevelopers.google.com
Stand: