Das Robots Exclusion Protocol (REP) ist der Standard, mit dem Betreiber über eine robots.txt-Datei Crawlern mitteilen, welche Bereiche einer Website sie abrufen dürfen. Die IETF hat ihn im September 2022 als RFC 9309 veröffentlicht. Entwickelt wurde das Verfahren bereits 1994 von Martijn Koster.
Was regelt das Protokoll?
Die Datei liegt als /robots.txt im obersten Verzeichnis der Domain, ist UTF-8-kodiert und hat den Medientyp text/plain. Sie besteht aus Gruppen. Jede Gruppe beginnt mit einer user-agent-Zeile, darauf folgen allow- und disallow-Regeln. Bei mehreren passenden Regeln gilt die längste, also spezifischste. Als Zeichen sind # für Kommentare, * als Platzhalter und $ für das Zeilenende vorgesehen. Zusatzzeilen wie Sitemap sind als Erweiterung möglich.
Für den Abruf der Datei trifft RFC 9309 Festlegungen. Eine 4xx-Antwort bedeutet, dass Crawler alles abrufen dürfen. Bei 5xx gilt die Website als vollständig gesperrt. Bis zu fünf Weiterleitungen werden gefolgt, und der Cache soll 24 Stunden nicht überschreiten. Mindestens 500 KiB sollen verarbeitet werden.
Der Standard gilt als Bitte an Crawler. Laut RFC sind die Regeln „not a form of access authorization“. Zugriffsschutz erfordert Authentifizierung.
RFC 9309 beschreibt nur die robots.txt. Meta-Robots-Tag und X-Robots-Tag steuern Indexierung und Snippets einzelner Seiten und sind in Googles Doku eigenständig beschrieben. Ob man sie zum REP im weiteren Sinn zählt, wird unterschiedlich gehandhabt (Einschätzung).
| Mittel | Verhindert Crawling? | Hält die URL aus der Suche? | Was Google dazu schreibt | Typischer Einsatz |
|---|---|---|---|---|
robots.txt Disallow | ja | nein, die URL kann ohne Inhalt indexiert werden, wenn andere Seiten auf sie verlinken | dient vor allem dazu, den Server nicht mit Anfragen zu überlasten; kein Mittel, eine Seite aus Google herauszuhalten | Crawler-Last begrenzen, Bereiche vom Abruf ausnehmen |
noindex im Robots-Meta-Tag | nein, Google muss die Seite abrufen können | ja | wirkt nur, wenn die Seite nicht per robots.txt gesperrt ist; Google entfernt die Seite dann, auch wenn andere Websites auf sie verlinken | HTML-Seiten, die erreichbar bleiben, aber nicht in den Suchergebnissen erscheinen sollen |
noindex im HTTP-Header X-Robots-Tag | nein, Google muss die URL abrufen können | ja | jede Regel des Robots-Meta-Tags ist auch als Header möglich; gleiche Voraussetzung wie beim Meta-Tag | Dateien ohne HTML-Head wie PDFs, Bilder oder Videos |
rel="canonical" | nein | nicht direkt; starkes Signal dafür, welche von mehreren gleichen URLs kanonisch wird | hilft, Signale wie Links auf die bevorzugte URL zu bündeln; für die Kanonisierung weder robots.txt noch noindex verwenden | Duplikate und sehr ähnliche Seiten, etwa durch Parameter |
| Statuscode 410 (oder 404) | nein, Google ruft die URL aber nach und nach seltener ab | ja, eine bereits indexierte URL wird entfernt | behandelt 404 und 410 gleich | Seite dauerhaft entfernt, es gibt keinen Ersatz |
| Passwortschutz (Login) | ja, Crawler erreichen die Inhalte nicht | ja | einer der Wege, die Google für das dauerhafte Entfernen nennt; berechtigte Nutzer sehen die Seite, Crawler nicht | Private oder vertrauliche Inhalte |
| Search Console: Entfernungen | nein, Google kann die URL weiter crawlen | blendet die URL für etwa sechs Monate aus den Suchergebnissen aus | nur vorübergehend; dauerhaft wirken 404/410, Passwortschutz oder noindex | Eilfall, bis eine dauerhafte Maßnahme greift |
robots.txt und noindex schließen sich gegenseitig aus. Ist eine URL per robots.txt gesperrt, liest Google das noindex nie, und die URL kann trotzdem in den Ergebnissen erscheinen. noindex in der robots.txt selbst unterstützt Google nicht. Quellen: Google Search Central: Introduction to robots.txt (last updated 2025-12-10); Google Search Central: Block Search indexing with noindex (last updated 2025-12-10); Google Search Central: Robots meta tag, data-nosnippet, and X-Robots-Tag specifications (last updated 2026-03-24); Google Search Central: How to specify a canonical URL (last updated 2026-07-10); Google Crawling Infrastructure: How HTTP status codes affect Google's crawlers (last updated 2026-02-04); Google Search Central: Remove information from Google (last updated 2025-12-10); Search Console Help: Removals and SafeSearch reports tool. Stand: .
Beispiel
User-agent: *
Disallow: /intern/
Allow: /intern/presse/
Quellen
- RFC 9309 – Robots Exclusion Protocol (IETF, September 2022)rfc-editor.org
- Wie Google die robots.txt-Spezifikation interpretiert – Google Search Centraldevelopers.google.com
- Robots.txt – Wikipedia (Geschichte)en.wikipedia.org
- Robots meta tag, data-nosnippet, and X-Robots-Tag specifications – Google Search Centraldevelopers.google.com
Stand: