Der X-Robots-Tag ist ein HTTP-Header, mit dem sich Indexierungs- und Darstellungsregeln für eine URL an Suchmaschinen übermitteln lassen. Er kann dieselben Anweisungen enthalten wie das Robots-Meta-Tag, funktioniert aber auch bei Dateien ohne HTML-Code.
Wann ist er sinnvoll?
Ein Robots-Meta-Tag gehört in den <head> einer HTML-Seite. PDFs, Bilder oder Videos haben keinen solchen Bereich. Dort lässt sich ein Header setzen. Laut Google kann jede Regel des Robots-Meta-Tags auch als X-Robots-Tag angegeben werden, zum Beispiel noindex, nofollow, none, nosnippet, max-snippet, max-image-preview, noimageindex und unavailable_after.
Regeln lassen sich einem bestimmten Crawler zuordnen, indem sein Name vorangestellt wird. Widersprechen sich Regeln, gilt laut Google die restriktivere. MDN beschreibt den Header als De-facto-Standard ohne offizielle Spezifikation.
| Mittel | Verhindert Crawling? | Hält die URL aus der Suche? | Was Google dazu schreibt | Typischer Einsatz |
|---|---|---|---|---|
robots.txt Disallow | ja | nein, die URL kann ohne Inhalt indexiert werden, wenn andere Seiten auf sie verlinken | dient vor allem dazu, den Server nicht mit Anfragen zu überlasten; kein Mittel, eine Seite aus Google herauszuhalten | Crawler-Last begrenzen, Bereiche vom Abruf ausnehmen |
noindex im Robots-Meta-Tag | nein, Google muss die Seite abrufen können | ja | wirkt nur, wenn die Seite nicht per robots.txt gesperrt ist; Google entfernt die Seite dann, auch wenn andere Websites auf sie verlinken | HTML-Seiten, die erreichbar bleiben, aber nicht in den Suchergebnissen erscheinen sollen |
noindex im HTTP-Header X-Robots-Tag (dieser Begriff) | nein, Google muss die URL abrufen können | ja | jede Regel des Robots-Meta-Tags ist auch als Header möglich; gleiche Voraussetzung wie beim Meta-Tag | Dateien ohne HTML-Head wie PDFs, Bilder oder Videos |
rel="canonical" | nein | nicht direkt; starkes Signal dafür, welche von mehreren gleichen URLs kanonisch wird | hilft, Signale wie Links auf die bevorzugte URL zu bündeln; für die Kanonisierung weder robots.txt noch noindex verwenden | Duplikate und sehr ähnliche Seiten, etwa durch Parameter |
| Statuscode 410 (oder 404) | nein, Google ruft die URL aber nach und nach seltener ab | ja, eine bereits indexierte URL wird entfernt | behandelt 404 und 410 gleich | Seite dauerhaft entfernt, es gibt keinen Ersatz |
| Passwortschutz (Login) | ja, Crawler erreichen die Inhalte nicht | ja | einer der Wege, die Google für das dauerhafte Entfernen nennt; berechtigte Nutzer sehen die Seite, Crawler nicht | Private oder vertrauliche Inhalte |
| Search Console: Entfernungen | nein, Google kann die URL weiter crawlen | blendet die URL für etwa sechs Monate aus den Suchergebnissen aus | nur vorübergehend; dauerhaft wirken 404/410, Passwortschutz oder noindex | Eilfall, bis eine dauerhafte Maßnahme greift |
robots.txt und noindex schließen sich gegenseitig aus. Ist eine URL per robots.txt gesperrt, liest Google das noindex nie, und die URL kann trotzdem in den Ergebnissen erscheinen. noindex in der robots.txt selbst unterstützt Google nicht. Quellen: Google Search Central: Introduction to robots.txt (last updated 2025-12-10); Google Search Central: Block Search indexing with noindex (last updated 2025-12-10); Google Search Central: Robots meta tag, data-nosnippet, and X-Robots-Tag specifications (last updated 2026-03-24); Google Search Central: How to specify a canonical URL (last updated 2026-07-10); Google Crawling Infrastructure: How HTTP status codes affect Google's crawlers (last updated 2026-02-04); Google Search Central: Remove information from Google (last updated 2025-12-10); Search Console Help: Removals and SafeSearch reports tool. Stand: .
Beispiel
Antwort eines Servers für eine Datei, die nicht indexiert werden soll:
HTTP/1.1 200 OK
X-Robots-Tag: noindex
X-Robots-Tag: googlebot: nofollow
Alle PDFs einer Website lassen sich auf Apache so ausschließen (Beispiel aus Googles Dokumentation):
<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</Files>
Häufige Fehler
Sperrt die robots.txt eine URL per Disallow, ruft der Crawler sie nicht ab und liest den Header nie. Google schreibt, dass Regeln zur Indexierung dann nicht gefunden und deshalb ignoriert werden. Laut Google kann eine per robots.txt gesperrte Seite weiterhin indexiert werden, wenn andere Websites auf sie verlinken.
Quellen
- Robots-Meta-Tag, data-nosnippet und X-Robots-Tag – Google Search Centraldevelopers.google.com
- X-Robots-Tag – MDN Web Docsdeveloper.mozilla.org
- Einführung in robots.txt – Google Search Centraldevelopers.google.com
Stand: