# Disallow

Kategorie: [Crawling & Indexierung](https://seo-geo-glossary.com/de/glossar/kategorie/crawling-indexierung/) › [robots.txt & Robots-Direktiven](https://seo-geo-glossary.com/de/glossar/kategorie/crawling-indexierung/robots-txt-direktiven/) · Auch genannt: Disallow-Direktive, robots.txt Disallow

**Disallow** ist eine Anweisung in der robots.txt, die Crawlern verbietet, URLs abzurufen, deren Pfad mit einem angegebenen Wert beginnt. Sie steuert das Crawling. Die Indexierung steuert sie nicht.

## Wie funktioniert Disallow?

Jede Regelgruppe in der robots.txt beginnt mit einer `User-agent`-Zeile und enthält darunter eine oder mehrere `Disallow`- oder `Allow`-Zeilen. Der Pfad beginnt mit einem Schrägstrich und wird vom Anfang der URL-Adresse an verglichen. Nach den Google-Regeln wird die Groß- und Kleinschreibung beachtet. `Disallow: /file.asp` blockiert diese Datei, `/FILE.asp` nicht. Zwei Platzhalter sind möglich. Das Sternchen steht für beliebig viele Zeichen, das Dollarzeichen markiert das Ende einer URL. Ein leerer Wert schränkt nichts ein.

Greifen mehrere Regeln, hat die spezifischere, längere Regel Vorrang. Bei widersprüchlichen Regeln gilt nach Google die am wenigsten restriktive, sodass `Allow` gewinnt. Die Datei muss im Stammverzeichnis des Hosts liegen, etwa `https://www.example.com/robots.txt`, und höchstens 500 KiB groß sein. Was darüber hinausgeht, ignoriert Google.

## Verhindert Disallow die Indexierung?

Nein. Google schreibt, eine in der robots.txt gesperrte Seite könne weiterhin indexiert werden, etwa wenn andere Seiten darauf verlinken. Sie erscheint dann meist ohne Beschreibung. Wer eine URL aus der Suche halten will, braucht `noindex`, und `noindex` kann Google nur lesen, wenn es die Seite crawlen darf. Bei einer per Disallow gesperrten Seite bleibt `noindex` daher unwirksam.

RFC 9309 stellt klar, dass das Protokoll keine Zugriffskontrolle ersetzt. Vertrauliche Inhalte gehören hinter einen Login.

## Beispiel

```robots
User-agent: *
Disallow: /warenkorb/
Disallow: /*?sort=
Disallow: /*.pdf$

User-agent: Googlebot-Image
Disallow: /intern/
```

Die erste Gruppe sperrt für alle Crawler den Warenkorb, jede URL mit dem Parameter `?sort=` und alle PDF-Dateien.

## Häufige Fehler

- **`Disallow: /` auf der Live-Seite**, oft nach dem Umzug aus einer Testumgebung. Der gesamte Host ist dann gesperrt.
- **Disallow zusammen mit noindex.** Die gesperrte Seite wird nicht abgerufen, das `noindex` bleibt unsichtbar.
- **Disallow als Schutz vertraulicher Daten.** Die robots.txt ist öffentlich lesbar.

## Crawling und Indexierung steuern: die Mittel im Vergleich

| Mittel | Verhindert Crawling? | Hält die URL aus der Suche? | Was Google dazu schreibt | Typischer Einsatz |
|---|---|---|---|---|
| robots.txt Disallow | ja | nein, die URL kann ohne Inhalt indexiert werden, wenn andere Seiten auf sie verlinken | dient vor allem dazu, den Server nicht mit Anfragen zu überlasten; kein Mittel, eine Seite aus Google herauszuhalten | Crawler-Last begrenzen, Bereiche vom Abruf ausnehmen |
| noindex im Robots-Meta-Tag | nein, Google muss die Seite abrufen können | ja | wirkt nur, wenn die Seite nicht per robots.txt gesperrt ist; Google entfernt die Seite dann, auch wenn andere Websites auf sie verlinken | HTML-Seiten, die erreichbar bleiben, aber nicht in den Suchergebnissen erscheinen sollen |
| noindex im HTTP-Header X-Robots-Tag | nein, Google muss die URL abrufen können | ja | jede Regel des Robots-Meta-Tags ist auch als Header möglich; gleiche Voraussetzung wie beim Meta-Tag | Dateien ohne HTML-Head wie PDFs, Bilder oder Videos |
| rel="canonical" | nein | nicht direkt; starkes Signal dafür, welche von mehreren gleichen URLs kanonisch wird | hilft, Signale wie Links auf die bevorzugte URL zu bündeln; für die Kanonisierung weder robots.txt noch noindex verwenden | Duplikate und sehr ähnliche Seiten, etwa durch Parameter |
| Statuscode 410 (oder 404) | nein, Google ruft die URL aber nach und nach seltener ab | ja, eine bereits indexierte URL wird entfernt | behandelt 404 und 410 gleich | Seite dauerhaft entfernt, es gibt keinen Ersatz |
| Passwortschutz (Login) | ja, Crawler erreichen die Inhalte nicht | ja | einer der Wege, die Google für das dauerhafte Entfernen nennt; berechtigte Nutzer sehen die Seite, Crawler nicht | Private oder vertrauliche Inhalte |
| Search Console: Entfernungen | nein, Google kann die URL weiter crawlen | blendet die URL für etwa sechs Monate aus den Suchergebnissen aus | nur vorübergehend; dauerhaft wirken 404/410, Passwortschutz oder noindex | Eilfall, bis eine dauerhafte Maßnahme greift |

Quellen: [Google Search Central: Introduction to robots.txt (last updated 2025-12-10)](https://developers.google.com/search/docs/crawling-indexing/robots/intro); [Google Search Central: Block Search indexing with noindex (last updated 2025-12-10)](https://developers.google.com/search/docs/crawling-indexing/block-indexing); [Google Search Central: Robots meta tag, data-nosnippet, and X-Robots-Tag specifications (last updated 2026-03-24)](https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag); [Google Search Central: How to specify a canonical URL (last updated 2026-07-10)](https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls); [Google Crawling Infrastructure: How HTTP status codes affect Google's crawlers (last updated 2026-02-04)](https://developers.google.com/crawling/docs/troubleshooting/http-status-codes); [Google Search Central: Remove information from Google (last updated 2025-12-10)](https://developers.google.com/search/docs/crawling-indexing/remove-information); [Search Console Help: Removals and SafeSearch reports tool](https://support.google.com/webmasters/answer/9689846). Stand: 8. Oktober 2026

## Nicht verwechseln

- [noindex](https://seo-geo-glossary.com/de/glossar/noindex/index.md): ist eine Anweisung an Suchmaschinen, die Seite nicht in den Suchergebnissen zu zeigen, und wirkt nur, wenn Google die Seite abrufen darf. Disallow regelt dagegen, ob eine URL abgerufen wird.

## Verwandte Begriffe

- [robots.txt](https://seo-geo-glossary.com/de/glossar/robots-txt/index.md)
- [Robots Exclusion Protocol](https://seo-geo-glossary.com/de/glossar/robots-exclusion-protocol/index.md)
- [noindex](https://seo-geo-glossary.com/de/glossar/noindex/index.md)
- [Meta Robots Tag](https://seo-geo-glossary.com/de/glossar/meta-robots-tag/index.md)
- [Crawl-Budget](https://seo-geo-glossary.com/de/glossar/crawl-budget/index.md)
- [Crawlbarkeit](https://seo-geo-glossary.com/de/glossar/crawlbarkeit/index.md)
- [Indexierbarkeit](https://seo-geo-glossary.com/de/glossar/indexierbarkeit/index.md)

## Quellen

- [robots.txt-Datei erstellen – Google Search Central](https://developers.google.com/search/docs/crawling-indexing/robots/create-robots-txt?hl=de)
- [Einführung in robots.txt – Google Search Central](https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=de)
- [Robots-Meta-Tag, data-nosnippet und X-Robots-Tag – Google Search Central](https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag?hl=de)
- [RFC 9309: Robots Exclusion Protocol (IETF)](https://www.rfc-editor.org/rfc/rfc9309.html)
- [Wie Google die robots.txt-Spezifikation interpretiert – Google Search Central](https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt?hl=de)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/disallow/