# Crawler-Direktiven

Kategorie: [Crawling & Indexierung](https://seo-geo-glossary.com/de/glossar/kategorie/crawling-indexierung/) › [robots.txt & Robots-Direktiven](https://seo-geo-glossary.com/de/glossar/kategorie/crawling-indexierung/robots-txt-direktiven/)

Crawler-Direktiven sind Anweisungen an Suchmaschinen-Bots, wie sie eine Website abrufen und verarbeiten sollen. Der Begriff ist ein SEO-Sammelbegriff und kommt in Googles Dokumentation nicht vor. Üblicherweise zählen robots.txt, das Robots-Meta-Tag und der HTTP-Header X-Robots-Tag dazu. Manche Lexika zählen auch den Canonical-Tag dazu, Google beschreibt ihn als starkes Signal.

## Welche Direktiven gibt es?
Die **robots.txt** legt fest, welche URLs ein Crawler abrufen darf. Google beschreibt sie als Mittel, den Crawl-Traffic zu steuern. Seiten aus Google heraushalten kann sie laut Google nicht, denn eine gesperrte URL kann trotzdem in den Ergebnissen stehen, wenn andere Seiten auf sie verlinken.

Das **Robots-Meta-Tag** im `<head>` und der **X-Robots-Tag** im Header steuern Indexierung und Darstellung. Gültige Werte sind unter anderem `noindex`, `nofollow`, `nosnippet`, `none` und `max-snippet`. Der Header eignet sich auch für PDFs und Bilder.

## Wechselwirkung
Ist eine Seite per robots.txt gesperrt, kann Google ein `noindex` darauf nicht lesen. Die Anweisung wird ignoriert.

## Beispiel

```robots
# robots.txt
User-agent: *
Disallow: /warenkorb/
```

```html
<meta name="robots" content="noindex, nofollow">
```

## Crawling und Indexierung steuern: die Mittel im Vergleich

| Mittel | Verhindert Crawling? | Hält die URL aus der Suche? | Was Google dazu schreibt | Typischer Einsatz |
|---|---|---|---|---|
| robots.txt Disallow | ja | nein, die URL kann ohne Inhalt indexiert werden, wenn andere Seiten auf sie verlinken | dient vor allem dazu, den Server nicht mit Anfragen zu überlasten; kein Mittel, eine Seite aus Google herauszuhalten | Crawler-Last begrenzen, Bereiche vom Abruf ausnehmen |
| noindex im Robots-Meta-Tag | nein, Google muss die Seite abrufen können | ja | wirkt nur, wenn die Seite nicht per robots.txt gesperrt ist; Google entfernt die Seite dann, auch wenn andere Websites auf sie verlinken | HTML-Seiten, die erreichbar bleiben, aber nicht in den Suchergebnissen erscheinen sollen |
| noindex im HTTP-Header X-Robots-Tag | nein, Google muss die URL abrufen können | ja | jede Regel des Robots-Meta-Tags ist auch als Header möglich; gleiche Voraussetzung wie beim Meta-Tag | Dateien ohne HTML-Head wie PDFs, Bilder oder Videos |
| rel="canonical" | nein | nicht direkt; starkes Signal dafür, welche von mehreren gleichen URLs kanonisch wird | hilft, Signale wie Links auf die bevorzugte URL zu bündeln; für die Kanonisierung weder robots.txt noch noindex verwenden | Duplikate und sehr ähnliche Seiten, etwa durch Parameter |
| Statuscode 410 (oder 404) | nein, Google ruft die URL aber nach und nach seltener ab | ja, eine bereits indexierte URL wird entfernt | behandelt 404 und 410 gleich | Seite dauerhaft entfernt, es gibt keinen Ersatz |
| Passwortschutz (Login) | ja, Crawler erreichen die Inhalte nicht | ja | einer der Wege, die Google für das dauerhafte Entfernen nennt; berechtigte Nutzer sehen die Seite, Crawler nicht | Private oder vertrauliche Inhalte |
| Search Console: Entfernungen | nein, Google kann die URL weiter crawlen | blendet die URL für etwa sechs Monate aus den Suchergebnissen aus | nur vorübergehend; dauerhaft wirken 404/410, Passwortschutz oder noindex | Eilfall, bis eine dauerhafte Maßnahme greift |

Quellen: [Google Search Central: Introduction to robots.txt (last updated 2025-12-10)](https://developers.google.com/search/docs/crawling-indexing/robots/intro); [Google Search Central: Block Search indexing with noindex (last updated 2025-12-10)](https://developers.google.com/search/docs/crawling-indexing/block-indexing); [Google Search Central: Robots meta tag, data-nosnippet, and X-Robots-Tag specifications (last updated 2026-03-24)](https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag); [Google Search Central: How to specify a canonical URL (last updated 2026-07-10)](https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls); [Google Crawling Infrastructure: How HTTP status codes affect Google's crawlers (last updated 2026-02-04)](https://developers.google.com/crawling/docs/troubleshooting/http-status-codes); [Google Search Central: Remove information from Google (last updated 2025-12-10)](https://developers.google.com/search/docs/crawling-indexing/remove-information); [Search Console Help: Removals and SafeSearch reports tool](https://support.google.com/webmasters/answer/9689846). Stand: 8. Oktober 2026

## Verwandte Begriffe

- [robots.txt](https://seo-geo-glossary.com/de/glossar/robots-txt/index.md)
- [Meta Robots Tag](https://seo-geo-glossary.com/de/glossar/meta-robots-tag/index.md)
- [X-Robots-Tag](https://seo-geo-glossary.com/de/glossar/x-robots-tag/index.md)
- [noindex](https://seo-geo-glossary.com/de/glossar/noindex/index.md)
- [nofollow](https://seo-geo-glossary.com/de/glossar/nofollow/index.md)
- [Disallow](https://seo-geo-glossary.com/de/glossar/disallow/index.md)

## Quellen

- [Intro to robots.txt – Google Search Central](https://developers.google.com/search/docs/crawling-indexing/robots/intro)
- [Robots meta tag, data-nosnippet, and X-Robots-Tag specifications – Google Search Central](https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag)
- [Kanonische URL angeben und Duplikate zusammenfassen – Google Search Central](https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/crawler-direktiven/