# robots.txt

Kategorie: [Crawling & Indexierung](https://seo-geo-glossary.com/de/glossar/kategorie/crawling-indexierung/) › [robots.txt & Robots-Direktiven](https://seo-geo-glossary.com/de/glossar/kategorie/crawling-indexierung/robots-txt-direktiven/) · Auch genannt: Robots Exclusion Protocol, Robots Exclusion Standard

Die **robots.txt** ist eine Textdatei im Stammverzeichnis einer Website, die Crawlern mitteilt, welche URLs sie abrufen dürfen und welche nicht. Sie regelt das Crawling. Ob eine URL im Index landet, steuern andere Signale wie `noindex`. Das Protokoll ist seit September 2022 als RFC 9309 (Robots Exclusion Protocol) standardisiert.

## Wie funktioniert die robots.txt?

Ein Crawler ruft vor dem Abruf einer Seite `/robots.txt` auf dem jeweiligen Host ab. Die Datei gilt nur für genau diese Kombination aus Protokoll, Host und Port. `https://shop.example.com/robots.txt` regelt also nichts für `https://www.example.com`.

Google wertet vier Felder aus: `user-agent`, `allow`, `disallow` und `sitemap`. Das Feld `crawl-delay` ignoriert Google. Bei widersprüchlichen Regeln gewinnt die spezifischere, also die mit dem längeren Pfad. Sind zwei Regeln gleich spezifisch, nimmt Google die weniger restriktive. Pfade unterscheiden Groß- und Kleinschreibung.

Laut Googles Dokumentation wird die Datei in der Regel bis zu 24 Stunden zwischengespeichert, Inhalte jenseits von 500 KiB werden ignoriert, und ein 4xx-Statuscode (außer 429) gilt so, als gäbe es keine robots.txt.

## Beispiel

```robots
User-agent: *
Disallow: /warenkorb/
Disallow: /*?sessionid=

User-agent: GPTBot
Disallow: /

Sitemap: https://www.example.com/sitemap.xml
```

Alle Crawler sollen den Warenkorb und URLs mit Session-Parameter auslassen. GPTBot soll die gesamte Website auslassen. Die Sitemap-Zeile nennt den Ort der XML-Sitemap.

## Häufige Fehler

- **Disallow, um Seiten aus Google zu entfernen.** Eine gesperrte URL kann laut Google trotzdem indexiert werden, wenn andere Seiten auf sie verlinken. Für den Ausschluss aus dem Index sind `noindex` oder ein Passwortschutz gedacht. Ein `noindex` wirkt nur, wenn der Crawler die Seite abrufen darf.
- **robots.txt als Zugriffsschutz.** RFC 9309 stellt klar, dass die Regeln keine Zugriffsberechtigung sind. Die Datei ist öffentlich und verrät gesperrte Pfade sogar.
- **Versehentliches `Disallow: /`** nach einem Relaunch, wenn die Datei der Staging-Umgebung live geht. Das ist ein häufiger Praxisfall und keine Aussage der Google-Dokumentation.

## Häufige Fragen

**Wo muss die robots.txt liegen?**
Im Stammverzeichnis des Hosts, erreichbar unter `/robots.txt`. Eine Datei in einem Unterordner werten Crawler nicht aus.

**Ist eine robots.txt Pflicht?**
Nein. Liefert der Server für `/robots.txt` einen 404-Fehler, behandeln Googles Crawler die Website so, als gäbe es keine Einschränkungen.

## Auf einen Blick

- **Art:** Textdatei im Stammverzeichnis des Hosts (/robots.txt)
- **Wirkt auf:** Crawling, nicht die Indexierung
- **Werte:** Bei Google: user-agent, allow, disallow, sitemap
- **Spezifikation:** [RFC 9309 (IETF, September 2022)](https://www.rfc-editor.org/rfc/rfc9309.html)
- **Doku:** [Google: Einführung in robots.txt](https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=de)

Stand: 8. Oktober 2026

## Dateien für Maschinen im Vergleich

| Datei | Standard oder Vorschlag? | Ort | Zweck | Wer liest es (belegt) |
|---|---|---|---|---|
| robots.txt | IETF-Standard: RFC 9309 (September 2022) | /robots.txt | regelt, welche URLs Crawler abrufen dürfen; laut RFC keine Zugriffsautorisierung | Crawler; Googles gängige Crawler beachten sie bei automatischen Crawls immer |
| llms.txt | Vorschlag (Jeremy Howard, 2024; Version 2 vom August 2026) | /llms.txt oder in einem Unterpfad | Markdown-Übersicht mit Links zu Markdown-Fassungen der Seiten, für KI-Agenten | laut Vorschlag vor allem Coding-Agenten; Google Suche ignoriert sie laut Google; Lighthouse prüft nur den Abruf |
| llms-full.txt | keine Spezifikation; nicht Teil des llms.txt-Vorschlags, Konvention einzelner Anbieter (z. B. Mintlify) | /llms-full.txt (bei Mintlify auch /.well-known/llms-full.txt) | ganze Dokumentation als Markdown in einer Datei | kein Leser vom Herausgeber belegt; Google Suche nutzt solche Dateien laut Google nicht |
| ai.txt | IETF-Internet-Draft eines Einzelautors (Juni 2026, läuft 14.12.2026 ab), kein Standard; Vorläufer von Spawning (2023) | /.well-known/ai.txt (Draft), /ai.txt (Spawning) | KI-Nutzungspräferenzen (Training, Scraping, Indexierung, Caching), Lizenz, Namensnennung | kein Leser in Primärquellen belegt; Google Suche nutzt „AI text files“ laut Google nicht |
| TDMRep (tdmrep.json) | W3C Community Group Final Report (10.05.2024), kein W3C-Standard | /.well-known/tdmrep.json, HTTP-Header tdm-reservation oder HTML-Meta-Tag | maschinenlesbarer Vorbehalt gegen Text und Data Mining (Art. 4 DSM-Richtlinie) | Akteure, die Text und Data Mining betreiben (laut Spezifikation) |
| security.txt | RFC 9116 (April 2022, informativ, kein Standards-Track) | /.well-known/security.txt | Kontakt für Meldungen von Sicherheitslücken; Pflichtfelder Contact und Expires | Sicherheitsforschende |
| ads.txt | IAB-Tech-Lab-Spezifikation, Version 1.1 (August 2022) | /ads.txt der Root-Domain, bei Bedarf Subdomains | nennt die Firmen, die Werbeinventar der Website verkaufen dürfen | Werbesysteme und Käufer (Crawler der Werbesysteme) |
| humans.txt | Initiative (humanstxt.org), keine formale Spezifikation | /humans.txt neben der robots.txt, optional per rel="author" verlinkt | nennt die Menschen, die an der Website mitgewirkt haben | Menschen, die wissen wollen, wer hinter der Website steht |

Quellen: [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html); [Google: Overview of Google crawlers and fetchers (last updated 2026-06-12)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers); [The /llms.txt file, v2 (llmstxt.org)](https://llmstxt.org/); [llmstxt.org: Changes (v2, August 2026)](https://llmstxt.org/changes.html); [Google Search Central: Optimizing for generative AI features (last updated 2026-07-10)](https://developers.google.com/search/docs/fundamentals/ai-optimization-guide); [Chrome for Developers: Lighthouse llms.txt audit (2026-05-05)](https://developer.chrome.com/docs/lighthouse/agentic-browsing/llms-txt); [Mintlify: llms.txt and llms-full.txt](https://www.mintlify.com/docs/ai/llmstxt); [IETF Internet-Draft draft-car-ai-txt-wellknown-00 (2026-06-12)](https://www.ietf.org/archive/id/draft-car-ai-txt-wellknown-00.html); [W3C TDMRep Community Group: TDM Reservation Protocol, Final Report 2024-05-10](https://www.w3.org/community/reports/tdmrep/CG-FINAL-tdmrep-20240510/); [RFC 9116: A File Format to Aid in Security Vulnerability Disclosure](https://www.rfc-editor.org/rfc/rfc9116.html); [IAB Tech Lab: ads.txt](https://iabtechlab.com/ads-txt/); [IAB Tech Lab: ads.txt Specification Version 1.1 (GitHub)](https://github.com/InteractiveAdvertisingBureau/Supply-Chain-Validation/blob/main/ads.txt%20v1.1.md); [humanstxt.org](https://humanstxt.org/). Stand: 8. Oktober 2026

## Crawling und Indexierung steuern: die Mittel im Vergleich

| Mittel | Verhindert Crawling? | Hält die URL aus der Suche? | Was Google dazu schreibt | Typischer Einsatz |
|---|---|---|---|---|
| robots.txt Disallow | ja | nein, die URL kann ohne Inhalt indexiert werden, wenn andere Seiten auf sie verlinken | dient vor allem dazu, den Server nicht mit Anfragen zu überlasten; kein Mittel, eine Seite aus Google herauszuhalten | Crawler-Last begrenzen, Bereiche vom Abruf ausnehmen |
| noindex im Robots-Meta-Tag | nein, Google muss die Seite abrufen können | ja | wirkt nur, wenn die Seite nicht per robots.txt gesperrt ist; Google entfernt die Seite dann, auch wenn andere Websites auf sie verlinken | HTML-Seiten, die erreichbar bleiben, aber nicht in den Suchergebnissen erscheinen sollen |
| noindex im HTTP-Header X-Robots-Tag | nein, Google muss die URL abrufen können | ja | jede Regel des Robots-Meta-Tags ist auch als Header möglich; gleiche Voraussetzung wie beim Meta-Tag | Dateien ohne HTML-Head wie PDFs, Bilder oder Videos |
| rel="canonical" | nein | nicht direkt; starkes Signal dafür, welche von mehreren gleichen URLs kanonisch wird | hilft, Signale wie Links auf die bevorzugte URL zu bündeln; für die Kanonisierung weder robots.txt noch noindex verwenden | Duplikate und sehr ähnliche Seiten, etwa durch Parameter |
| Statuscode 410 (oder 404) | nein, Google ruft die URL aber nach und nach seltener ab | ja, eine bereits indexierte URL wird entfernt | behandelt 404 und 410 gleich | Seite dauerhaft entfernt, es gibt keinen Ersatz |
| Passwortschutz (Login) | ja, Crawler erreichen die Inhalte nicht | ja | einer der Wege, die Google für das dauerhafte Entfernen nennt; berechtigte Nutzer sehen die Seite, Crawler nicht | Private oder vertrauliche Inhalte |
| Search Console: Entfernungen | nein, Google kann die URL weiter crawlen | blendet die URL für etwa sechs Monate aus den Suchergebnissen aus | nur vorübergehend; dauerhaft wirken 404/410, Passwortschutz oder noindex | Eilfall, bis eine dauerhafte Maßnahme greift |

Quellen: [Google Search Central: Introduction to robots.txt (last updated 2025-12-10)](https://developers.google.com/search/docs/crawling-indexing/robots/intro); [Google Search Central: Block Search indexing with noindex (last updated 2025-12-10)](https://developers.google.com/search/docs/crawling-indexing/block-indexing); [Google Search Central: Robots meta tag, data-nosnippet, and X-Robots-Tag specifications (last updated 2026-03-24)](https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag); [Google Search Central: How to specify a canonical URL (last updated 2026-07-10)](https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls); [Google Crawling Infrastructure: How HTTP status codes affect Google's crawlers (last updated 2026-02-04)](https://developers.google.com/crawling/docs/troubleshooting/http-status-codes); [Google Search Central: Remove information from Google (last updated 2025-12-10)](https://developers.google.com/search/docs/crawling-indexing/remove-information); [Search Console Help: Removals and SafeSearch reports tool](https://support.google.com/webmasters/answer/9689846). Stand: 8. Oktober 2026

## Nicht verwechseln

- [llms.txt](https://seo-geo-glossary.com/de/glossar/llms-txt/index.md): ist ein Vorschlag für eine Markdown-Datei, die KI-Agenten eine Übersicht der wichtigsten Inhalte mit Links gibt. Zugriffe regelt sie nicht, dafür bleibt die robots.txt zuständig.

## Verwandte Begriffe

- [Disallow](https://seo-geo-glossary.com/de/glossar/disallow/index.md)
- [Meta Robots Tag](https://seo-geo-glossary.com/de/glossar/meta-robots-tag/index.md)
- [XML-Sitemap](https://seo-geo-glossary.com/de/glossar/xml-sitemap/index.md)
- [KI-Crawler (AI Crawler)](https://seo-geo-glossary.com/de/glossar/ki-crawler/index.md)
- [llms.txt](https://seo-geo-glossary.com/de/glossar/llms-txt/index.md)

## Mehr dazu im searchVIU-Blog

- [Warum du nicht deine gesamte Staging-Umgebung über die robots.txt sperren solltest](https://www.searchviu.com/de/robots-txt-staging-umgebung/)

## Quellen

- [Einführung in robots.txt – Google Search Central](https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=de)
- [Wie Google die robots.txt-Spezifikation interpretiert – Google Search Central](https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt?hl=de)
- [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/robots-txt/