Der TDM-Vorbehalt ist die Erklärung eines Rechteinhabers, dass andere seine Inhalte nicht per Text und Data Mining (TDM) automatisiert auswerten dürfen. In Deutschland regelt das § 44b UrhG. Bei online veröffentlichten Werken wirkt der Vorbehalt nur, wenn er maschinenlesbar erklärt wird.
Auf einen Blick
- Herausgeber
- W3C TDM Reservation Protocol Community Group
- Verbindet
- Rechteinhaber und Akteure, die Text und Data Mining betreiben
- Status
- Community Group Final Report vom 10.05.2024, kein W3C-Standard
- Transport
- Datei unter /.well-known/tdmrep.json, HTTP-Header, HTML-Meta-Tag
- Spezifikation
- TDMRep, Final Report
Stand:
Was gilt nach § 44b UrhG?
Text und Data Mining ist im Gesetz die automatisierte Analyse digitaler Werke, um Informationen über Muster, Trends und Korrelationen zu gewinnen. § 44b Abs. 2 UrhG lässt Vervielfältigungen rechtmäßig zugänglicher Werke für diesen Zweck zu, solange sich der Rechteinhaber die Nutzung nicht vorbehalten hat. Die Kopien sind zu löschen, sobald die Analyse sie nicht mehr braucht. Die Regelung gilt seit dem 7. Juni 2021 und setzt die EU-Richtlinie 2019/790 um.
Keine Rechtsberatung.
| Datei | Standard oder Vorschlag? | Ort | Zweck | Wer liest es (belegt) |
|---|---|---|---|---|
| robots.txt | IETF-Standard: RFC 9309 (September 2022) | / | regelt, welche URLs Crawler abrufen dürfen; laut RFC keine Zugriffsautorisierung | Crawler; Googles gängige Crawler beachten sie bei automatischen Crawls immer |
| llms.txt | Vorschlag (Jeremy Howard, 2024; Version 2 vom August 2026) | / oder in einem Unterpfad | Markdown-Übersicht mit Links zu Markdown-Fassungen der Seiten, für KI-Agenten | laut Vorschlag vor allem Coding-Agenten; Google Suche ignoriert sie laut Google; Lighthouse prüft nur den Abruf |
| llms-full.txt | keine Spezifikation; nicht Teil des llms.txt-Vorschlags, Konvention einzelner Anbieter (z. B. Mintlify) | / (bei Mintlify auch /.) | ganze Dokumentation als Markdown in einer Datei | kein Leser vom Herausgeber belegt; Google Suche nutzt solche Dateien laut Google nicht |
| ai.txt | IETF-Internet-Draft eines Einzelautors (Juni 2026, läuft 14.12.2026 ab), kein Standard; Vorläufer von Spawning (2023) | /. (Draft), / (Spawning) | KI-Nutzungspräferenzen (Training, Scraping, Indexierung, Caching), Lizenz, Namensnennung | kein Leser in Primärquellen belegt; Google Suche nutzt „AI text files“ laut Google nicht |
TDMRep (tdmrep.) (dieser Begriff) | W3C Community Group Final Report (10.05.2024), kein W3C-Standard | /., HTTP-Header tdm-reservation oder HTML-Meta-Tag | maschinenlesbarer Vorbehalt gegen Text und Data Mining (Art. 4 DSM-Richtlinie) | Akteure, die Text und Data Mining betreiben (laut Spezifikation) |
| security.txt | RFC 9116 (April 2022, informativ, kein Standards-Track) | /. | Kontakt für Meldungen von Sicherheitslücken; Pflichtfelder Contact und Expires | Sicherheitsforschende |
| ads.txt | IAB-Tech-Lab-Spezifikation, Version 1.1 (August 2022) | / der Root-Domain, bei Bedarf Subdomains | nennt die Firmen, die Werbeinventar der Website verkaufen dürfen | Werbesysteme und Käufer (Crawler der Werbesysteme) |
| humans.txt | Initiative (humanstxt.org), keine formale Spezifikation | / neben der robots.txt, optional per rel="author" verlinkt | nennt die Menschen, die an der Website mitgewirkt haben | Menschen, die wissen wollen, wer hinter der Website steht |
Nur robots.txt, security.txt und ads.txt beruhen auf einer verabschiedeten Spezifikation (IETF bzw. IAB Tech Lab). Google schreibt, dass die Google Suche keine neuen maschinenlesbaren Dateien oder „AI text files“ nutzt und llms.txt-Dateien ignoriert; schaden würden sie der Sichtbarkeit in der Suche nicht. TDMRep setzt den Nutzungsvorbehalt nach Art. 4 der Richtlinie (EU) 2019/790 technisch um. Keine Rechtsberatung. Quellen: RFC 9309: Robots Exclusion Protocol; Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); The /llms.txt file, v2 (llmstxt.org); llmstxt.org: Changes (v2, August 2026); Google Search Central: Optimizing for generative AI features (last updated 2026-07-10); Chrome for Developers: Lighthouse llms.txt audit (2026-05-05); Mintlify: llms.txt and llms-full.txt; IETF Internet-Draft draft-car-ai-txt-wellknown-00 (2026-06-12); W3C TDMRep Community Group: TDM Reservation Protocol, Final Report 2024-05-10; RFC 9116: A File Format to Aid in Security Vulnerability Disclosure; IAB Tech Lab: ads.txt; IAB Tech Lab: ads.txt Specification Version 1.1 (GitHub); humanstxt.org. Stand: .
Wie wird ein Vorbehalt maschinenlesbar?
Das Gesetz nennt kein Format. Eine technische Umsetzung ist das TDM Reservation Protocol (TDMRep) einer W3C Community Group. Der Final Report stammt vom 10. Mai 2024 und ist kein W3C-Standard. Für Webseiten sieht TDMRep drei Wege vor:
- eine Datei unter
/.well-known/tdmrep.json - HTTP-Header
- ein Meta-Tag im HTML
Das Feld tdm-reservation steht auf 1, wenn die Rechte vorbehalten sind, und auf 0, wenn nicht. Das optionale Feld tdm-policy verweist auf eine maschinenlesbare Lizenzbeschreibung.
Beispiel
<meta name="tdm-reservation" content="1">
<meta name="tdm-policy" content="https://example.com/policy.json">
Dieselben Angaben lassen sich als HTTP-Header tdm-reservation: 1 senden oder in der tdmrep.json hinterlegen.
Häufige Fragen
Ist Data Mining erlaubt? § 44b UrhG regelt Vervielfältigungen für Text und Data Mining und den Nutzungsvorbehalt des Rechteinhabers. Text und Data Mining für die wissenschaftliche Forschung regelt § 60d UrhG.
Ersetzt ein TDM-Vorbehalt die robots.txt? Die beiden Mechanismen haben verschiedene Aufgaben. Die robots.txt steuert das Crawling, der Vorbehalt betrifft die rechtliche Nutzung der Inhalte.
Quellen
- § 44b UrhG – Text und Data Mining (gesetze-im-internet.de)gesetze-im-internet.de
- § 44b UrhG – Text und Data Mining (dejure.org, mit Stand zur Geltung)dejure.org
- TDM Reservation Protocol (TDMRep), Community Group Final Report, 10.05.2024 – W3Cw3.org
- TDM Reservation Protocol Community Group – W3Cw3.org
- Text- und Data-Mining – UB Kassel (Zweitquelle, § 60d UrhG)uni-kassel.de
Stand: