# Crawl-delay

Kategorie: [Crawling & Indexierung](https://seo-geo-glossary.com/de/glossar/kategorie/crawling-indexierung/) › [robots.txt & Robots-Direktiven](https://seo-geo-glossary.com/de/glossar/kategorie/crawling-indexierung/robots-txt-direktiven/) · Auch genannt: Crawl-delay-Direktive

Crawl-delay ist eine Direktive in der robots.txt, mit der Betreiber einen Crawler bitten, zwischen Abrufen zu warten. Sie gehört nicht zum Kern der robots.txt-Spezifikation. Jeder Betreiber legt selbst fest, ob und wie er sie umsetzt.

## Wie wird Crawl-delay behandelt?

Google unterstützt nur die Felder user-agent, allow, disallow und sitemap. Andere Felder wie crawl-delay werden ignoriert. Auch RFC 9309, der IETF-Standard zur robots.txt, kennt die Direktive nicht.

Laut einem Bing-Blogpost von 2012 liest Bing die Direktive. Dort ist der Wert keine Crawl-Rate. Er legt ein Zeitfenster von 1 bis 30 Sekunden fest, in dem BingBot die Website nur einmal abruft. Bei Crawl-delay 5 sind es höchstens etwa 17.280 Seiten am Tag. Ein hoher Wert senkt die Zahl gecrawlter Seiten und kann den Index kleiner halten.

Wer Googlebot bremsen will, nutzt statt der Direktive Statuscodes. Google empfiehlt kurzfristig 500, 503 oder 429, gegebenenfalls mit Retry-After-Header. Ein dauerhaft gesenkter Crawl hat Folgen, denn neue Seiten werden später entdeckt und Änderungen später übernommen.

## Beispiel

```
User-agent: bingbot
Crawl-delay: 5
```

Die Regel gilt nur für Bing. Googlebot ignoriert sie.

## Verwandte Begriffe

- [robots.txt](https://seo-geo-glossary.com/de/glossar/robots-txt/index.md)
- [Crawl-Rate](https://seo-geo-glossary.com/de/glossar/crawl-rate/index.md)
- [Crawl-Budget](https://seo-geo-glossary.com/de/glossar/crawl-budget/index.md)
- [Crawl Demand](https://seo-geo-glossary.com/de/glossar/crawl-demand/index.md)
- [429 Too Many Requests](https://seo-geo-glossary.com/de/glossar/429-too-many-requests/index.md)

## Quellen

- [Wie Google die robots.txt-Spezifikation interpretiert – Google Search Central](https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec)
- [Googlebot-Crawling-Rate reduzieren – Google Search Central](https://developers.google.com/crawling/docs/crawlers-fetchers/reduce-crawl-rate)
- [To crawl or not to crawl, that is BingBot's question – Bing Webmaster Blog (03.05.2012)](https://blogs.bing.com/webmaster/2012/05/03/to-crawl-or-not-to-crawl-that-is-bingbots-question)
- [RFC 9309: Robots Exclusion Protocol – IETF](https://www.rfc-editor.org/rfc/rfc9309.html)

---

Stand: 7. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/crawl-delay/