Das Meta Robots Tag ist ein Meta-Element im <head> einer HTML-Seite, das Suchmaschinen Vorgaben zur Indexierung und Darstellung dieser einen Seite macht. Es gehört zu den Crawler-Direktiven und ersetzt weder die robots.txt noch den X-Robots-Tag.
Wie funktioniert das Meta Robots Tag?
Das Tag steht als <meta name="robots" content="..."> im Head. Im Attribut content stehen ein oder mehrere Werte, durch Komma getrennt. Laut Google sind unter anderem diese Werte gültig:
noindexzeigt die Seite nicht in den Suchergebnissen.nofollowweist an, den Links der Seite nicht zu folgen.noneentsprichtnoindex, nofollow.nosnippetunterdrückt Text-Snippet und Videovorschau. Bei Google gilt das auch für AI Overviews und den AI Mode. Der Inhalt dient dann nicht als direkte Eingabe für diese Antworten.max-snippet:[Zahl],max-image-previewundmax-video-previewbegrenzen die Vorschau.noimageindexverhindert, dass Bilder der Seite indexiert werden.notranslateblendet das Übersetzungsangebot im Suchergebnis aus.indexifembeddederlaubt die Indexierung von Inhalten, die per iframe in eine andere Seite eingebettet sind, obwohl sie selbstnoindextragen.unavailable_afterlegt ein Datum fest, ab dem die Seite nicht mehr angezeigt werden soll.
Der früher übliche Wert noarchive wird laut Google von der Google Suche nicht mehr verwendet. MDN führt ihn weiterhin als Wert, den Bing unterstützt.
Statt robots kann der Name eines einzelnen Crawlers stehen, etwa googlebot. Groß- und Kleinschreibung spielen bei Name und Werten keine Rolle. Ohne Tag darf eine Seite indexiert und angezeigt werden. Bei widersprüchlichen Regeln gilt laut Google die restriktivere. Das Tag ist kein formaler Webstandard. MDN beschreibt es als De-facto-Standard, dem nur kooperative Crawler folgen.
Das Tag wirkt nur, wenn der Crawler die Seite abrufen darf. Sperrt die robots.txt die URL, bleibt das Tag ungelesen und die URL kann trotzdem im Index auftauchen.
| Mittel | Verhindert Crawling? | Hält die URL aus der Suche? | Was Google dazu schreibt | Typischer Einsatz |
|---|---|---|---|---|
robots.txt Disallow | ja | nein, die URL kann ohne Inhalt indexiert werden, wenn andere Seiten auf sie verlinken | dient vor allem dazu, den Server nicht mit Anfragen zu überlasten; kein Mittel, eine Seite aus Google herauszuhalten | Crawler-Last begrenzen, Bereiche vom Abruf ausnehmen |
noindex im Robots-Meta-Tag (dieser Begriff) | nein, Google muss die Seite abrufen können | ja | wirkt nur, wenn die Seite nicht per robots.txt gesperrt ist; Google entfernt die Seite dann, auch wenn andere Websites auf sie verlinken | HTML-Seiten, die erreichbar bleiben, aber nicht in den Suchergebnissen erscheinen sollen |
noindex im HTTP-Header X-Robots-Tag | nein, Google muss die URL abrufen können | ja | jede Regel des Robots-Meta-Tags ist auch als Header möglich; gleiche Voraussetzung wie beim Meta-Tag | Dateien ohne HTML-Head wie PDFs, Bilder oder Videos |
rel="canonical" | nein | nicht direkt; starkes Signal dafür, welche von mehreren gleichen URLs kanonisch wird | hilft, Signale wie Links auf die bevorzugte URL zu bündeln; für die Kanonisierung weder robots.txt noch noindex verwenden | Duplikate und sehr ähnliche Seiten, etwa durch Parameter |
| Statuscode 410 (oder 404) | nein, Google ruft die URL aber nach und nach seltener ab | ja, eine bereits indexierte URL wird entfernt | behandelt 404 und 410 gleich | Seite dauerhaft entfernt, es gibt keinen Ersatz |
| Passwortschutz (Login) | ja, Crawler erreichen die Inhalte nicht | ja | einer der Wege, die Google für das dauerhafte Entfernen nennt; berechtigte Nutzer sehen die Seite, Crawler nicht | Private oder vertrauliche Inhalte |
| Search Console: Entfernungen | nein, Google kann die URL weiter crawlen | blendet die URL für etwa sechs Monate aus den Suchergebnissen aus | nur vorübergehend; dauerhaft wirken 404/410, Passwortschutz oder noindex | Eilfall, bis eine dauerhafte Maßnahme greift |
robots.txt und noindex schließen sich gegenseitig aus. Ist eine URL per robots.txt gesperrt, liest Google das noindex nie, und die URL kann trotzdem in den Ergebnissen erscheinen. noindex in der robots.txt selbst unterstützt Google nicht. Quellen: Google Search Central: Introduction to robots.txt (last updated 2025-12-10); Google Search Central: Block Search indexing with noindex (last updated 2025-12-10); Google Search Central: Robots meta tag, data-nosnippet, and X-Robots-Tag specifications (last updated 2026-03-24); Google Search Central: How to specify a canonical URL (last updated 2026-07-10); Google Crawling Infrastructure: How HTTP status codes affect Google's crawlers (last updated 2026-02-04); Google Search Central: Remove information from Google (last updated 2025-12-10); Search Console Help: Removals and SafeSearch reports tool. Stand: .
Beispiel
<head>
<meta name="robots" content="noindex, nofollow">
</head>
Soll eine Seite aus dem Index, ihre Links aber weiter verfolgt werden, lautet der Wert noindex, follow.
Häufige Fehler
noindexauf einer Seite, die zusätzlich per robots.txt gesperrt ist. Google sieht das Tag dann nie.- Ein beim Relaunch mitgeliefertes
noindexaus der Testumgebung, das auf der Live-Seite stehen bleibt. noindexim ursprünglichen HTML, das erst per JavaScript entfernt wird. Laut Google kann der Crawler beinoindexdas Rendering überspringen, die Änderung kommt dann nicht an.
Häufige Fragen
Was ist ein Noindex-Tag? Ein Wert des Meta Robots Tags, der Google anweist, die Seite nicht in den Suchergebnissen zu zeigen.
Wo steht das Meta Robots Tag?
Im <head> des HTML-Dokuments. Für Dateien ohne HTML, etwa PDFs, steht der X-Robots-Tag im HTTP-Header zur Verfügung.
Quellen
- Robots-Meta-Tag, data-nosnippet und X-Robots-Tag – Google Search Centraldevelopers.google.com
- robots.txt-Datei erstellen – Google Search Centraldevelopers.google.com
- <meta name=robots> – MDNdeveloper.mozilla.org
- Grundlagen der JavaScript-SEO – Google Search Centraldevelopers.google.com
Stand: