# User-Agent

Kategorie: [Crawling & Indexierung](https://seo-geo-glossary.com/de/glossar/kategorie/crawling-indexierung/) › [Crawler & Bots](https://seo-geo-glossary.com/de/glossar/kategorie/crawling-indexierung/crawler-bots/) · Auch genannt: User Agent, Useragent, User-Agent-String

**User-Agent** ist ein HTTP-Header, mit dem ein Client dem Server mitteilt, welche Software die Anfrage stellt, etwa ein Browser, ein Crawler oder ein Skript. Der Server kann daran Inhalte anpassen oder Zugriffe unterscheiden. RFC 9110 definiert das Feld als Information über den Client, der die Anfrage auslöst.

## Wie ist ein User-Agent aufgebaut?

Laut MDN besteht der Header aus Produktnamen, Versionen und Kommentaren. Browser beginnen aus historischen Gründen fast immer mit `Mozilla/5.0`, gefolgt von Angaben zu System und Engine. Crawler geben meist einen eigenen Namen und eine Info-URL an.

Browser verringern die preisgegebenen Details schrittweise (User-Agent Reduction), weil sie sich für Fingerprinting nutzen ließen. Detailliertere Angaben lassen sich über User-Agent Client Hints anfordern.

## Warum ist der User-Agent für SEO wichtig?

In der robots.txt steht die Zeile `User-agent:` am Anfang jeder Regelgruppe und legt fest, für welchen Crawler die folgenden Regeln gelten. Bei Logfile-Analysen dient der Wert dazu, Bots von Nutzern zu trennen.

Der String ist leicht zu fälschen. Google weist darauf hin, dass sich der User-Agent-String fälschen lässt, und empfiehlt, echte Anfragen per Reverse-DNS-Lookup oder über die veröffentlichten IP-Bereiche zu prüfen. RFC 9110 sieht außerdem vor, dass Absender den Wert auf das Nötige beschränken, weil lange, sehr detaillierte Werte das Risiko des Fingerprintings erhöhen.

## Beispiel

Der Googlebot Desktop laut Google-Doku (W.X.Y.Z steht für die jeweils aktuelle Chrome-Version):

```http
User-Agent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
```

Regel in der robots.txt für genau diesen Crawler:

```robots
User-agent: Googlebot
Disallow: /intern/
```

## Häufige Fehler

- **Bots nur am String erkennen.** Wer Zugriffe ausschließlich nach User-Agent sperrt oder freigibt, übersieht gefälschte Anfragen.
- **Veraltete Browser-Strings** in Regeln und Filtern.
- **Falschen Crawler-Namen in der robots.txt** verwenden. Der gültige Token steht in der Doku des jeweiligen Betreibers.

*Grafik: Eine Logzeile, Feld für Feld.* Apache und nginx schreiben im Format „combined“ dieselben Felder in derselben Reihenfolge. IP-Adressen können personenbezogene Daten sein (EuGH, Urteil vom 19.10.2016, C-582/14). Keine Rechtsberatung.

## Verwandte Begriffe

- [Googlebot](https://seo-geo-glossary.com/de/glossar/googlebot/index.md)
- [Crawler](https://seo-geo-glossary.com/de/glossar/crawler/index.md)
- [robots.txt](https://seo-geo-glossary.com/de/glossar/robots-txt/index.md)
- [Fake-Googlebot](https://seo-geo-glossary.com/de/glossar/fake-googlebot/index.md)
- [Bot-Verifizierung](https://seo-geo-glossary.com/de/glossar/bot-verifizierung/index.md)
- [Reverse DNS (Bot-Verifizierung)](https://seo-geo-glossary.com/de/glossar/reverse-dns/index.md)
- [HTTP-Header](https://seo-geo-glossary.com/de/glossar/http-header/index.md)

## Quellen

- [User-Agent header – MDN Web Docs](https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Headers/User-Agent)
- [RFC 9110: HTTP Semantics, Abschnitt 10.1.5 User-Agent](https://www.rfc-editor.org/rfc/rfc9110.html#name-user-agent)
- [Googlebot – Google Search Central](https://developers.google.com/search/docs/crawling-indexing/googlebot?hl=de)
- [Googles gängige Crawler – Google Search Central](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers?hl=de)
- [Google-Crawler verifizieren – Google Search Central](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests?hl=de)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/user-agent/