URL-Discovery bezeichnet den Schritt, in dem eine Suchmaschine eine URL erstmals kennenlernt, noch bevor sie die Seite abruft. In der SEO-Bedeutung geht es um die Frage, wie Google an neue Adressen kommt. Google nennt diesen Vorgang in seiner Dokumentation „URL discovery“.
Wie entdeckt Google URLs?
Die Google-Dokumentation nennt zwei Wege. Google extrahiert Links von bereits bekannten Seiten, oder der Betreiber reicht eine Sitemap ein. Seiten ohne eingehende interne Links, sogenannte Waisenseiten, tauchen daher oft nicht auf, außer sie stehen in einer Sitemap.
Ein Test von searchVIU (2017) zeigte mit einer Kontrollseite, dass ein per JavaScript eingefügter interner Link reicht, damit Google eine Seite findet und indexiert. Damals indexierte Google auch eine URL, die nur in einem JSON-LD-Block stand. Google dokumentiert diesen Weg zur Entdeckung nicht, verlässlich ist er daher nicht.
Entdeckt, gecrawlt, indexiert
Das sind drei verschiedene Zustände. Google gibt an, nicht alle entdeckten Seiten zu crawlen, und die Aufnahme in den Index ist nicht garantiert. In der Search Console steht der Status „Gefunden – zurzeit nicht indexiert“ für URLs, die Google kennt, aber noch nicht abgerufen hat. Häufig plant Google das Crawling dann neu, um den Server nicht zu überlasten.
Sitemaps
Eine Sitemap hilft vor allem bei großen Websites und bei neuen Websites mit wenigen externen Links. Kleine Websites mit rund 500 Seiten oder weniger und guter interner Verlinkung brauchen nach Googles Angaben nicht unbedingt eine.
Beispiel
Eine neue Kategorie wird im Hauptmenü verlinkt. Beim nächsten Besuch der Startseite findet Googlebot den Link, die URL gilt als entdeckt und wartet auf ihren Crawl.
Mehr dazu im searchVIU-Blog
Quellen
- In-depth guide to how Google Search works – Google Search Centraldevelopers.google.com
- Build and submit a sitemap – Overview – Google Search Centraldevelopers.google.com
- Bericht zur Seitenindexierung – Search Console-Hilfesupport.google.com
- Weitere JavaScript-SEO-Experimente mit dem Google Tag Manager – searchVIU-Blog (2017)searchviu.com
- Understand the JavaScript SEO basics – Google Search Centraldevelopers.google.com
Stand: