# ai.txt

Kategorie: [KI-Suche & GEO](https://seo-geo-glossary.com/de/glossar/kategorie/ki-suche-geo/) › [Steuerung & Opt-out](https://seo-geo-glossary.com/de/glossar/kategorie/ki-suche-geo/steuerung-opt-out/)

**ai.txt** ist ein Dateiname, unter dem Website-Betreiber festlegen wollen, wie KI-Systeme ihre Inhalte nutzen dürfen. In den geprüften Primärquellen (RFC 9309, llmstxt.org, W3C-TDMRep) taucht ai.txt nicht auf. Ein anerkannter Standard ist dafür nicht belegt (Einschätzung, Stand 7. Oktober 2026).

## Herkunft und Vorschläge

Unter dem Namen ai.txt stellte das Unternehmen Spawning am 30. Mai 2023 eine Datei vor, die im Wurzelverzeichnis einer Website liegt. Sie legt fest, ob Text, Bilder, Audio, Video und Code für kommerzielles KI-Training genutzt werden dürfen. Im Generator von Spawning sind standardmäßig alle Inhaltstypen gesperrt. Laut Spawning wird die Datei beim Herunterladen von Medien ausgelesen, die robots.txt dagegen beim Crawlen. Nach eigenen Angaben gibt Spawning die Einstellungen über seine API an KI-Entwickler und Partner weiter, darunter Hugging Face und Stability AI. Ob diese Partner die Angaben umsetzen, ist nicht unabhängig belegt (Einschätzung).

2024 reichte Guardian News & Media beim IAB-Workshop AI-CONTROL ein Papier ein, das ein AI.txt-Protokoll in Anlehnung an die robots.txt vorschlägt.

Das bisher formalste Dokument ist ein individueller IETF-Internet-Draft („AI.TXT: A Declaration File for AI Usage Preferences, Licensing, and Policy“, K. Cardillo, veröffentlicht am 12. Juni 2026, gültig bis 14. Dezember 2026). Er schlägt vor, `ai.txt` und `ai.json` als Well-Known-URIs zu registrieren, um KI-Nutzungspräferenzen und Lizenzbedingungen zu erklären. Der Draft ist ein Entwurf und kein angenommener Standard.

## Welche belegten Wege gibt es stattdessen?

Für die Steuerung von KI-Zugriffen existieren drei dokumentierte Ansätze:

- **robots.txt:** Das Robots Exclusion Protocol ist seit September 2022 als RFC 9309 veröffentlicht. Es regelt per User-Agent, welche Bereiche Crawler abrufen sollen. Der RFC hält ausdrücklich fest, dass diese Regeln keine Zugriffsautorisierung sind.
- **llms.txt:** Eine Markdown-Datei mit Linkverzeichnis, die Jeremy Howard am 3. September 2024 vorgeschlagen hat. Sie hilft KI-Systemen beim Lesen von Inhalten und regelt keine Nutzungsrechte.
- **TDMRep:** Das TDM Reservation Protocol einer W3C Community Group (Final Report vom 10. Mai 2024) erklärt einen Rechtevorbehalt für Text und Data Mining maschinenlesbar.

Wer eine Datei mit dem Namen ai.txt vorfindet, sollte klären, auf welche Spezifikation sie sich bezieht, und prüfen, ob Crawler sie überhaupt auswerten.

## Beispiel

Ein Website-Betreiber will KI-Training auf seinen Inhalten ausschließen. Eine belegte Möglichkeit ist ein Eintrag in der robots.txt für den jeweiligen Bot, zum Beispiel `User-agent: Google-Extended` mit `Disallow: /`. Ein Rechtevorbehalt lässt sich zusätzlich per TDMRep erklären.

## Häufige Fragen

**Wird ai.txt von Suchmaschinen oder KI-Anbietern gelesen?**
Für Suchmaschinen findet sich in den geprüften Quellen kein Beleg. Spawning gibt an, die Einstellungen über seine API an Partner weiterzureichen.

## Auf einen Blick

- **Herausgeber:** Einzelautorin Kayla Cardillo (unabhängig), kein IETF-Gremium
- **Verbindet:** Websites und KI-Systeme (Nutzungspräferenzen, Lizenz)
- **Status:** Internet-Draft, kein Standard; läuft am 14.12.2026 ab
- **Version:** draft-car-ai-txt-wellknown-00 (12.06.2026)
- **Spezifikation:** [IETF-Draft zu /.well-known/ai.txt](https://datatracker.ietf.org/doc/draft-car-ai-txt-wellknown/)

Stand: 8. Oktober 2026

## Dateien für Maschinen im Vergleich

| Datei | Standard oder Vorschlag? | Ort | Zweck | Wer liest es (belegt) |
|---|---|---|---|---|
| robots.txt | IETF-Standard: RFC 9309 (September 2022) | /robots.txt | regelt, welche URLs Crawler abrufen dürfen; laut RFC keine Zugriffsautorisierung | Crawler; Googles gängige Crawler beachten sie bei automatischen Crawls immer |
| llms.txt | Vorschlag (Jeremy Howard, 2024; Version 2 vom August 2026) | /llms.txt oder in einem Unterpfad | Markdown-Übersicht mit Links zu Markdown-Fassungen der Seiten, für KI-Agenten | laut Vorschlag vor allem Coding-Agenten; Google Suche ignoriert sie laut Google; Lighthouse prüft nur den Abruf |
| llms-full.txt | keine Spezifikation; nicht Teil des llms.txt-Vorschlags, Konvention einzelner Anbieter (z. B. Mintlify) | /llms-full.txt (bei Mintlify auch /.well-known/llms-full.txt) | ganze Dokumentation als Markdown in einer Datei | kein Leser vom Herausgeber belegt; Google Suche nutzt solche Dateien laut Google nicht |
| ai.txt | IETF-Internet-Draft eines Einzelautors (Juni 2026, läuft 14.12.2026 ab), kein Standard; Vorläufer von Spawning (2023) | /.well-known/ai.txt (Draft), /ai.txt (Spawning) | KI-Nutzungspräferenzen (Training, Scraping, Indexierung, Caching), Lizenz, Namensnennung | kein Leser in Primärquellen belegt; Google Suche nutzt „AI text files“ laut Google nicht |
| TDMRep (tdmrep.json) | W3C Community Group Final Report (10.05.2024), kein W3C-Standard | /.well-known/tdmrep.json, HTTP-Header tdm-reservation oder HTML-Meta-Tag | maschinenlesbarer Vorbehalt gegen Text und Data Mining (Art. 4 DSM-Richtlinie) | Akteure, die Text und Data Mining betreiben (laut Spezifikation) |
| security.txt | RFC 9116 (April 2022, informativ, kein Standards-Track) | /.well-known/security.txt | Kontakt für Meldungen von Sicherheitslücken; Pflichtfelder Contact und Expires | Sicherheitsforschende |
| ads.txt | IAB-Tech-Lab-Spezifikation, Version 1.1 (August 2022) | /ads.txt der Root-Domain, bei Bedarf Subdomains | nennt die Firmen, die Werbeinventar der Website verkaufen dürfen | Werbesysteme und Käufer (Crawler der Werbesysteme) |
| humans.txt | Initiative (humanstxt.org), keine formale Spezifikation | /humans.txt neben der robots.txt, optional per rel="author" verlinkt | nennt die Menschen, die an der Website mitgewirkt haben | Menschen, die wissen wollen, wer hinter der Website steht |

Quellen: [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html); [Google: Overview of Google crawlers and fetchers (last updated 2026-06-12)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers); [The /llms.txt file, v2 (llmstxt.org)](https://llmstxt.org/); [llmstxt.org: Changes (v2, August 2026)](https://llmstxt.org/changes.html); [Google Search Central: Optimizing for generative AI features (last updated 2026-07-10)](https://developers.google.com/search/docs/fundamentals/ai-optimization-guide); [Chrome for Developers: Lighthouse llms.txt audit (2026-05-05)](https://developer.chrome.com/docs/lighthouse/agentic-browsing/llms-txt); [Mintlify: llms.txt and llms-full.txt](https://www.mintlify.com/docs/ai/llmstxt); [IETF Internet-Draft draft-car-ai-txt-wellknown-00 (2026-06-12)](https://www.ietf.org/archive/id/draft-car-ai-txt-wellknown-00.html); [W3C TDMRep Community Group: TDM Reservation Protocol, Final Report 2024-05-10](https://www.w3.org/community/reports/tdmrep/CG-FINAL-tdmrep-20240510/); [RFC 9116: A File Format to Aid in Security Vulnerability Disclosure](https://www.rfc-editor.org/rfc/rfc9116.html); [IAB Tech Lab: ads.txt](https://iabtechlab.com/ads-txt/); [IAB Tech Lab: ads.txt Specification Version 1.1 (GitHub)](https://github.com/InteractiveAdvertisingBureau/Supply-Chain-Validation/blob/main/ads.txt%20v1.1.md); [humanstxt.org](https://humanstxt.org/). Stand: 8. Oktober 2026

## Verwandte Begriffe

- [robots.txt](https://seo-geo-glossary.com/de/glossar/robots-txt/index.md)
- [Robots Exclusion Protocol](https://seo-geo-glossary.com/de/glossar/robots-exclusion-protocol/index.md)
- [llms.txt](https://seo-geo-glossary.com/de/glossar/llms-txt/index.md)
- [llms-full.txt](https://seo-geo-glossary.com/de/glossar/llms-full-txt/index.md)
- [Content Signals (robots.txt)](https://seo-geo-glossary.com/de/glossar/content-signals/index.md)
- [TDM-Vorbehalt (Text and Data Mining)](https://seo-geo-glossary.com/de/glossar/tdm-vorbehalt/index.md)

## Quellen

- [RFC 9309: Robots Exclusion Protocol (September 2022)](https://www.rfc-editor.org/rfc/rfc9309.html)
- [The /llms.txt file – llmstxt.org](https://llmstxt.org/)
- [TDM Reservation Protocol (TDMRep), Final Report 10.05.2024 – W3C](https://www.w3.org/community/reports/tdmrep/CG-FINAL-tdmrep-20240510/)
- [robots.txt – Wikipedia (Zweitquelle zu Content-Signal und RSL)](https://en.wikipedia.org/wiki/Robots.txt)
- [AI.TXT: A Declaration File for AI Usage Preferences, Licensing, and Policy – IETF Internet-Draft (K. Cardillo, 12. Juni 2026)](https://www.ietf.org/archive/id/draft-car-ai-txt-wellknown-00.html)
- [/llms.txt – a proposal to provide information to help LLMs use websites – Answer.AI (3. September 2024)](https://www.answer.ai/posts/2024-09-03-llmstxt.html)
- [ai.txt: A new way for websites to set permissions for AI – Spawning (30.05.2023)](https://spawning.substack.com/p/aitxt-a-new-way-for-websites-to-set)
- [Spawning's ai.txt Generator – Spawning](https://site.spawning.ai/spawning-ai-txt)
- [Guardian News & Media: Draft Paper on an AI.txt Protocol – IAB Workshop AI-CONTROL (2024)](https://datatracker.ietf.org/doc/slides-aicontrolws-guardian-news-media-draft-paper-on-an-aitxt-protocol/)
- [draft-car-ai-txt-wellknown – IETF Datatracker](https://datatracker.ietf.org/doc/draft-car-ai-txt-wellknown/)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/ai-txt/