Die robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Crawlern mitteilt, welche URLs sie abrufen dürfen und welche nicht. Sie regelt das Crawling. Ob eine URL im Index landet, steuern andere Signale wie noindex. Das Protokoll ist seit September 2022 als RFC 9309 (Robots Exclusion Protocol) standardisiert.
Auf einen Blick
- Art
- Textdatei im Stammverzeichnis des Hosts (
/robots.txt) - Wirkt auf
- Crawling, nicht die Indexierung
- Werte
- Bei Google:
user-agent,allow,disallow,sitemap - Spezifikation
- RFC 9309 (IETF, September 2022)
Stand:
Wie funktioniert die robots.txt?
Ein Crawler ruft vor dem Abruf einer Seite /robots.txt auf dem jeweiligen Host ab. Die Datei gilt nur für genau diese Kombination aus Protokoll, Host und Port. https://shop.example.com/robots.txt regelt also nichts für https://www.example.com.
Google wertet vier Felder aus: user-agent, allow, disallow und sitemap. Das Feld crawl-delay ignoriert Google. Bei widersprüchlichen Regeln gewinnt die spezifischere, also die mit dem längeren Pfad. Sind zwei Regeln gleich spezifisch, nimmt Google die weniger restriktive. Pfade unterscheiden Groß- und Kleinschreibung.
Laut Googles Dokumentation wird die Datei in der Regel bis zu 24 Stunden zwischengespeichert, Inhalte jenseits von 500 KiB werden ignoriert, und ein 4xx-Statuscode (außer 429) gilt so, als gäbe es keine robots.txt.
| Datei | Standard oder Vorschlag? | Ort | Zweck | Wer liest es (belegt) |
|---|---|---|---|---|
| robots.txt (dieser Begriff) | IETF-Standard: RFC 9309 (September 2022) | / | regelt, welche URLs Crawler abrufen dürfen; laut RFC keine Zugriffsautorisierung | Crawler; Googles gängige Crawler beachten sie bei automatischen Crawls immer |
| llms.txt | Vorschlag (Jeremy Howard, 2024; Version 2 vom August 2026) | / oder in einem Unterpfad | Markdown-Übersicht mit Links zu Markdown-Fassungen der Seiten, für KI-Agenten | laut Vorschlag vor allem Coding-Agenten; Google Suche ignoriert sie laut Google; Lighthouse prüft nur den Abruf |
| llms-full.txt | keine Spezifikation; nicht Teil des llms.txt-Vorschlags, Konvention einzelner Anbieter (z. B. Mintlify) | / (bei Mintlify auch /.) | ganze Dokumentation als Markdown in einer Datei | kein Leser vom Herausgeber belegt; Google Suche nutzt solche Dateien laut Google nicht |
| ai.txt | IETF-Internet-Draft eines Einzelautors (Juni 2026, läuft 14.12.2026 ab), kein Standard; Vorläufer von Spawning (2023) | /. (Draft), / (Spawning) | KI-Nutzungspräferenzen (Training, Scraping, Indexierung, Caching), Lizenz, Namensnennung | kein Leser in Primärquellen belegt; Google Suche nutzt „AI text files“ laut Google nicht |
TDMRep (tdmrep.) | W3C Community Group Final Report (10.05.2024), kein W3C-Standard | /., HTTP-Header tdm-reservation oder HTML-Meta-Tag | maschinenlesbarer Vorbehalt gegen Text und Data Mining (Art. 4 DSM-Richtlinie) | Akteure, die Text und Data Mining betreiben (laut Spezifikation) |
| security.txt | RFC 9116 (April 2022, informativ, kein Standards-Track) | /. | Kontakt für Meldungen von Sicherheitslücken; Pflichtfelder Contact und Expires | Sicherheitsforschende |
| ads.txt | IAB-Tech-Lab-Spezifikation, Version 1.1 (August 2022) | / der Root-Domain, bei Bedarf Subdomains | nennt die Firmen, die Werbeinventar der Website verkaufen dürfen | Werbesysteme und Käufer (Crawler der Werbesysteme) |
| humans.txt | Initiative (humanstxt.org), keine formale Spezifikation | / neben der robots.txt, optional per rel="author" verlinkt | nennt die Menschen, die an der Website mitgewirkt haben | Menschen, die wissen wollen, wer hinter der Website steht |
Nur robots.txt, security.txt und ads.txt beruhen auf einer verabschiedeten Spezifikation (IETF bzw. IAB Tech Lab). Google schreibt, dass die Google Suche keine neuen maschinenlesbaren Dateien oder „AI text files“ nutzt und llms.txt-Dateien ignoriert; schaden würden sie der Sichtbarkeit in der Suche nicht. TDMRep setzt den Nutzungsvorbehalt nach Art. 4 der Richtlinie (EU) 2019/790 technisch um. Keine Rechtsberatung. Quellen: RFC 9309: Robots Exclusion Protocol; Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); The /llms.txt file, v2 (llmstxt.org); llmstxt.org: Changes (v2, August 2026); Google Search Central: Optimizing for generative AI features (last updated 2026-07-10); Chrome for Developers: Lighthouse llms.txt audit (2026-05-05); Mintlify: llms.txt and llms-full.txt; IETF Internet-Draft draft-car-ai-txt-wellknown-00 (2026-06-12); W3C TDMRep Community Group: TDM Reservation Protocol, Final Report 2024-05-10; RFC 9116: A File Format to Aid in Security Vulnerability Disclosure; IAB Tech Lab: ads.txt; IAB Tech Lab: ads.txt Specification Version 1.1 (GitHub); humanstxt.org. Stand: .
Beispiel
User-agent: *
Disallow: /warenkorb/
Disallow: /*?sessionid=
User-agent: GPTBot
Disallow: /
Sitemap: https://www.example.com/sitemap.xml
Alle Crawler sollen den Warenkorb und URLs mit Session-Parameter auslassen. GPTBot soll die gesamte Website auslassen. Die Sitemap-Zeile nennt den Ort der XML-Sitemap.
Häufige Fehler
- Disallow, um Seiten aus Google zu entfernen. Eine gesperrte URL kann laut Google trotzdem indexiert werden, wenn andere Seiten auf sie verlinken. Für den Ausschluss aus dem Index sind
noindexoder ein Passwortschutz gedacht. Einnoindexwirkt nur, wenn der Crawler die Seite abrufen darf. - robots.txt als Zugriffsschutz. RFC 9309 stellt klar, dass die Regeln keine Zugriffsberechtigung sind. Die Datei ist öffentlich und verrät gesperrte Pfade sogar.
- Versehentliches
Disallow: /nach einem Relaunch, wenn die Datei der Staging-Umgebung live geht. Das ist ein häufiger Praxisfall und keine Aussage der Google-Dokumentation.
| Mittel | Verhindert Crawling? | Hält die URL aus der Suche? | Was Google dazu schreibt | Typischer Einsatz |
|---|---|---|---|---|
robots.txt Disallow | ja | nein, die URL kann ohne Inhalt indexiert werden, wenn andere Seiten auf sie verlinken | dient vor allem dazu, den Server nicht mit Anfragen zu überlasten; kein Mittel, eine Seite aus Google herauszuhalten | Crawler-Last begrenzen, Bereiche vom Abruf ausnehmen |
noindex im Robots-Meta-Tag | nein, Google muss die Seite abrufen können | ja | wirkt nur, wenn die Seite nicht per robots.txt gesperrt ist; Google entfernt die Seite dann, auch wenn andere Websites auf sie verlinken | HTML-Seiten, die erreichbar bleiben, aber nicht in den Suchergebnissen erscheinen sollen |
noindex im HTTP-Header X-Robots-Tag | nein, Google muss die URL abrufen können | ja | jede Regel des Robots-Meta-Tags ist auch als Header möglich; gleiche Voraussetzung wie beim Meta-Tag | Dateien ohne HTML-Head wie PDFs, Bilder oder Videos |
rel="canonical" | nein | nicht direkt; starkes Signal dafür, welche von mehreren gleichen URLs kanonisch wird | hilft, Signale wie Links auf die bevorzugte URL zu bündeln; für die Kanonisierung weder robots.txt noch noindex verwenden | Duplikate und sehr ähnliche Seiten, etwa durch Parameter |
| Statuscode 410 (oder 404) | nein, Google ruft die URL aber nach und nach seltener ab | ja, eine bereits indexierte URL wird entfernt | behandelt 404 und 410 gleich | Seite dauerhaft entfernt, es gibt keinen Ersatz |
| Passwortschutz (Login) | ja, Crawler erreichen die Inhalte nicht | ja | einer der Wege, die Google für das dauerhafte Entfernen nennt; berechtigte Nutzer sehen die Seite, Crawler nicht | Private oder vertrauliche Inhalte |
| Search Console: Entfernungen | nein, Google kann die URL weiter crawlen | blendet die URL für etwa sechs Monate aus den Suchergebnissen aus | nur vorübergehend; dauerhaft wirken 404/410, Passwortschutz oder noindex | Eilfall, bis eine dauerhafte Maßnahme greift |
robots.txt und noindex schließen sich gegenseitig aus. Ist eine URL per robots.txt gesperrt, liest Google das noindex nie, und die URL kann trotzdem in den Ergebnissen erscheinen. noindex in der robots.txt selbst unterstützt Google nicht. Quellen: Google Search Central: Introduction to robots.txt (last updated 2025-12-10); Google Search Central: Block Search indexing with noindex (last updated 2025-12-10); Google Search Central: Robots meta tag, data-nosnippet, and X-Robots-Tag specifications (last updated 2026-03-24); Google Search Central: How to specify a canonical URL (last updated 2026-07-10); Google Crawling Infrastructure: How HTTP status codes affect Google's crawlers (last updated 2026-02-04); Google Search Central: Remove information from Google (last updated 2025-12-10); Search Console Help: Removals and SafeSearch reports tool. Stand: .
Häufige Fragen
Wo muss die robots.txt liegen?
Im Stammverzeichnis des Hosts, erreichbar unter /robots.txt. Eine Datei in einem Unterordner werten Crawler nicht aus.
Ist eine robots.txt Pflicht?
Nein. Liefert der Server für /robots.txt einen 404-Fehler, behandeln Googles Crawler die Website so, als gäbe es keine Einschränkungen.
Mehr dazu im searchVIU-Blog
Quellen
- Einführung in robots.txt – Google Search Centraldevelopers.google.com
- Wie Google die robots.txt-Spezifikation interpretiert – Google Search Centraldevelopers.google.com
- RFC 9309: Robots Exclusion Protocolrfc-editor.org
Stand: