Sitemap-Monitoring bezeichnet die regelmäßige, automatische Prüfung der XML-Sitemaps einer Website. Dabei geht es um Erreichbarkeit, Änderungen und die Qualität der enthaltenen URLs. Bei Auffälligkeiten gibt es eine Benachrichtigung (Alert).
Was wird geprüft?
- Erreichbarkeit: Lässt sich die Datei abrufen und liefert sie den Statuscode 200?
- Größe und Format: Google lässt pro Sitemap höchstens 50 MB (unkomprimiert) oder 50.000 URLs zu und verlangt UTF-8. Größere Bestände werden auf mehrere Dateien mit einem Sitemap-Index verteilt.
- Inhalt: Enthält die Sitemap URLs, die weiterleiten, Fehler liefern, auf noindex stehen oder per robots.txt gesperrt sind? Diese Prüfpunkte stammen aus der Praxis, sie sind keine Google-Vorgabe.
- Veränderung: Wie viele URLs kamen hinzu oder fielen weg, und fehlt plötzlich ein ganzer Bereich?
- Verweis: Steht die Sitemap in der robots.txt?
| Art | Was wird geprüft? | Übliche Frequenz | Was so auffällt |
|---|---|---|---|
| Uptime-Monitoring | ob eine URL erreichbar ist und mit dem erwarteten Statuscode innerhalb einer Zeitgrenze antwortet | kurze Abstände, oft im Minutenbereich | Ausfälle und Serverfehler (5xx), auch nachts. Bei 5xx und 429 verlangsamt Google das Crawling vorübergehend. |
| Website-Monitoring | Oberbegriff für Erreichbarkeit, Ladezeit und Funktion einer Website, etwa Login oder Bestellung | je nach Prüfung verschieden | gestörte Abläufe auf Seiten, die selbst fehlerfrei antworten |
| Change Monitoring | Inhalt einer Seite oder Datei im Vergleich zum vorherigen Abruf | vom Anwender festgelegt | Änderungen ohne Fehlercode, etwa ein neuer Title, ein geändertes Canonical oder ein entfernter Textabschnitt |
| SEO-Monitoring | suchrelevante Angaben vieler URLs: Statuscodes, Weiterleitungen, noindex, Canonicals, robots.txt, Sitemaps, Inhalte | regelmäßige Crawls, meist täglich bis wöchentlich | ein noindex nach einem Release, das Besucher nicht sehen. Google entfernt solche Seiten, sobald es das Tag beim Crawlen liest. |
| Rank Tracking | Position der Website zu festgelegten Keywords, je Land, Sprache, Ort und Gerät | täglich bis wöchentlich | Verluste bei einzelnen Keywords in einer festen Konstellation. Die Search Console zeigt dagegen die durchschnittliche höchste Position über alle Impressionen. |
| robots.txt-Monitoring | Inhalt, Erreichbarkeit und Statuscode der robots.txt | regelmäßig, Abstand frei wählbar | eine neue Sperrregel wie Disallow: /. Google hält die robots.txt in der Regel bis zu 24 Stunden im Cache. |
| Sitemap-Monitoring (dieser Begriff) | Erreichbarkeit, Format und enthaltene URLs der XML-Sitemaps | regelmäßig, Abstand frei wählbar | plötzlich fehlende URLs oder ganze Bereiche. Google begrenzt eine Sitemap auf 50 MB (unkomprimiert) oder 50.000 URLs. |
Für die Arten des Monitorings gibt es keine Norm. Prüfumfang, Frequenz und Beispiele beruhen auf Praxiserfahrung und unterscheiden sich je nach Werkzeug. Aussagen zum Verhalten von Google (Crawling bei 5xx und 429, noindex, Cache der robots.txt, Sitemap-Grenzen, Position in der Search Console) sind mit Quellen belegt. Quellen: Google Search Central: Wie sich HTTP-Statuscodes und Netzwerkfehler auf die Google Suche auswirken; Google Search Central: Indexierung mit noindex blockieren / Block indexing with noindex; Google Search Central: So interpretiert Google die robots.txt-Spezifikation; Google Search Central: Sitemap erstellen und einreichen / Build and submit a sitemap; Google Search Central: So funktioniert die Google Suche / How Google Search works; Search-Console-Hilfe: Leistungsbericht (Suche). Stand: .
Worauf Google achtet
Die Angaben <priority> und <changefreq> ignoriert Google. Den Wert <lastmod> nutzt Google nur, wenn er konsistent und nachweislich korrekt ist. Ein Monitoring kann deshalb prüfen, ob sich das Datum nur bei echten Änderungen ändert.
Beispiel
Nach einem Release fehlt in der Produkt-Sitemap die Hälfte der URLs. Die Zahl der URLs sinkt von 40.000 auf 20.000 und löst einen Alert aus. Das Beispiel ist erfunden.
Quellen
- Sitemap erstellen und senden – Google Search Centraldevelopers.google.com
Stand: