robots.txt-Monitoring bezeichnet die regelmäßige, automatische Prüfung der robots.txt einer Website auf Änderungen und Fehler. Bei einer Abweichung gibt es eine Benachrichtigung (Alert).
Warum die robots.txt überwacht wird
Die robots.txt steuert, welche Bereiche Crawler abrufen dürfen. Eine falsche Zeile kann ganze Verzeichnisse sperren. Häufiger Auslöser sind Releases oder Systemwechsel, bei denen eine Testversion der Datei mit einem pauschalen Sperrverbot auf den Live-Server gelangt (Beispiel aus der Praxis, nicht von Google belegt).
Google beschreibt Eigenheiten, die Fehler erst verzögert sichtbar machen. Die Datei wird normalerweise bis zu 24 Stunden im Cache gehalten. Bei einem 5xx-Fehler beim Abruf stoppt Google zunächst das Crawling der Website, nutzt später den letzten erfolgreich abgerufenen Stand und behandelt die Datei nach 30 Tagen als nicht vorhanden, sofern die Website sonst erreichbar ist. Die Regeln einer Datei, die größer als 500 KiB ist, werden über dieser Grenze ignoriert.
| Art | Was wird geprüft? | Übliche Frequenz | Was so auffällt |
|---|---|---|---|
| Uptime-Monitoring | ob eine URL erreichbar ist und mit dem erwarteten Statuscode innerhalb einer Zeitgrenze antwortet | kurze Abstände, oft im Minutenbereich | Ausfälle und Serverfehler (5xx), auch nachts. Bei 5xx und 429 verlangsamt Google das Crawling vorübergehend. |
| Website-Monitoring | Oberbegriff für Erreichbarkeit, Ladezeit und Funktion einer Website, etwa Login oder Bestellung | je nach Prüfung verschieden | gestörte Abläufe auf Seiten, die selbst fehlerfrei antworten |
| Change Monitoring | Inhalt einer Seite oder Datei im Vergleich zum vorherigen Abruf | vom Anwender festgelegt | Änderungen ohne Fehlercode, etwa ein neuer Title, ein geändertes Canonical oder ein entfernter Textabschnitt |
| SEO-Monitoring | suchrelevante Angaben vieler URLs: Statuscodes, Weiterleitungen, noindex, Canonicals, robots.txt, Sitemaps, Inhalte | regelmäßige Crawls, meist täglich bis wöchentlich | ein noindex nach einem Release, das Besucher nicht sehen. Google entfernt solche Seiten, sobald es das Tag beim Crawlen liest. |
| Rank Tracking | Position der Website zu festgelegten Keywords, je Land, Sprache, Ort und Gerät | täglich bis wöchentlich | Verluste bei einzelnen Keywords in einer festen Konstellation. Die Search Console zeigt dagegen die durchschnittliche höchste Position über alle Impressionen. |
| robots.txt-Monitoring (dieser Begriff) | Inhalt, Erreichbarkeit und Statuscode der robots.txt | regelmäßig, Abstand frei wählbar | eine neue Sperrregel wie Disallow: /. Google hält die robots.txt in der Regel bis zu 24 Stunden im Cache. |
| Sitemap-Monitoring | Erreichbarkeit, Format und enthaltene URLs der XML-Sitemaps | regelmäßig, Abstand frei wählbar | plötzlich fehlende URLs oder ganze Bereiche. Google begrenzt eine Sitemap auf 50 MB (unkomprimiert) oder 50.000 URLs. |
Für die Arten des Monitorings gibt es keine Norm. Prüfumfang, Frequenz und Beispiele beruhen auf Praxiserfahrung und unterscheiden sich je nach Werkzeug. Aussagen zum Verhalten von Google (Crawling bei 5xx und 429, noindex, Cache der robots.txt, Sitemap-Grenzen, Position in der Search Console) sind mit Quellen belegt. Quellen: Google Search Central: Wie sich HTTP-Statuscodes und Netzwerkfehler auf die Google Suche auswirken; Google Search Central: Indexierung mit noindex blockieren / Block indexing with noindex; Google Search Central: So interpretiert Google die robots.txt-Spezifikation; Google Search Central: Sitemap erstellen und einreichen / Build and submit a sitemap; Google Search Central: So funktioniert die Google Suche / How Google Search works; Search-Console-Hilfe: Leistungsbericht (Suche). Stand: .
Was wird geprüft?
- Änderungen am Inhalt der Datei, mit Vergleich zur vorherigen Fassung
- Erreichbarkeit und Statuscode beim Abruf
- Gültige Syntax und Sperrung wichtiger URLs
- Verweis auf die XML-Sitemap
Beispiel
# vorher
User-agent: *
Disallow: /intern/
# nachher
User-agent: *
Disallow: /
Das Monitoring meldet die geänderte Zeile. Ohne Meldung fällt die Sperre unter Umständen erst auf, wenn Rankings sinken. Das Beispiel ist erfunden.
Quellen
- Wie Google die robots.txt-Spezifikation interpretiert – Google Search Centraldevelopers.google.com
Stand: