English
Crawler & Bots

User-Agent

Auch genannt: User Agent, Useragent, User-Agent-String

User-Agent ist ein HTTP-Header, mit dem ein Client dem Server mitteilt, welche Software die Anfrage stellt, etwa ein Browser, ein Crawler oder ein Skript. Der Server kann daran Inhalte anpassen oder Zugriffe unterscheiden. RFC 9110 definiert das Feld als Information über den Client, der die Anfrage auslöst.

Wie ist ein User-Agent aufgebaut?

Laut MDN besteht der Header aus Produktnamen, Versionen und Kommentaren. Browser beginnen aus historischen Gründen fast immer mit Mozilla/5.0, gefolgt von Angaben zu System und Engine. Crawler geben meist einen eigenen Namen und eine Info-URL an.

Browser verringern die preisgegebenen Details schrittweise (User-Agent Reduction), weil sie sich für Fingerprinting nutzen ließen. Detailliertere Angaben lassen sich über User-Agent Client Hints anfordern.

Warum ist der User-Agent für SEO wichtig?

In der robots.txt steht die Zeile User-agent: am Anfang jeder Regelgruppe und legt fest, für welchen Crawler die folgenden Regeln gelten. Bei Logfile-Analysen dient der Wert dazu, Bots von Nutzern zu trennen.

Der String ist leicht zu fälschen. Google weist darauf hin, dass sich der User-Agent-String fälschen lässt, und empfiehlt, echte Anfragen per Reverse-DNS-Lookup oder über die veröffentlichten IP-Bereiche zu prüfen. RFC 9110 sieht außerdem vor, dass Absender den Wert auf das Nötige beschränken, weil lange, sehr detaillierte Werte das Risiko des Fingerprintings erhöhen.

Eine Logzeile im Combined Log Format, Feld für FeldBeispielzeile aus einem Access-Log im Combined Log Format, aufgeteilt in IP-Adresse, Identität und Benutzer, Zeitstempel, Anfragezeile, Statuscode, Bytes, Referrer und User-Agent. Der User-Agent nennt Googlebot, die IP-Adresse stammt aber aus einem Bereich für Dokumentationszwecke. Ob Google angefragt hat, zeigt erst eine Prüfung per DNS oder IP-Liste.access.log, eine Zeile (umbrochen)203.0.113.7 - - [08/Oct/2026:10:15:32 +0200] "GET /de/glossar/ HTTP/1.1" 200 5120 "-""Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"IP-Adresse203.0.113.7Client, bei Proxy dessen AdresseIdentität, Benutzer- -„-“ steht für fehlende AngabeZeitstempel[08/Oct/2026:10:15:32 +0200]Eingang der AnfrageAnfrage"GET /de/glossar/ HTTP/1.1"Methode, Pfad, ProtokollStatus200Statuscode der AntwortBytes5120Größe ohne Header, „-“ ohne InhaltReferrer"-"verweisende Seite, hier keineUser-AgentZeile 2Selbstauskunft des ClientsDer User-Agent nennt Googlebot, die IP liegt aber in einem Bereich für Dokumentationszwecke (RFC 5737).Ob Google angefragt hat, zeigt erst eine Prüfung per DNS oder IP-Liste.
Apache und nginx schreiben im Format „combined“ dieselben Felder in derselben Reihenfolge. IP-Adressen können personenbezogene Daten sein (EuGH, Urteil vom 19.10.2016, C-582/14). Keine Rechtsberatung. Quellen: Apache HTTP Server: Log Files (Combined Log Format); nginx: Modul ngx_http_log_module (log_format combined); RFC 5737: IPv4-Adressbereiche für Dokumentation; EuGH: Pressemitteilung 112/16 zum Urteil C-582/14.

Beispiel

Der Googlebot Desktop laut Google-Doku (W.X.Y.Z steht für die jeweils aktuelle Chrome-Version):

HTTP
User-Agent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Regel in der robots.txt für genau diesen Crawler:

robots.txt
User-agent: Googlebot
Disallow: /intern/

Häufige Fehler

  • Bots nur am String erkennen. Wer Zugriffe ausschließlich nach User-Agent sperrt oder freigibt, übersieht gefälschte Anfragen.
  • Veraltete Browser-Strings in Regeln und Filtern.
  • Falschen Crawler-Namen in der robots.txt verwenden. Der gültige Token steht in der Doku des jeweiligen Betreibers.

Quellen

  1. User-Agent header – MDN Web Docsdeveloper.mozilla.org
  2. RFC 9110: HTTP Semantics, Abschnitt 10.1.5 User-Agentrfc-editor.org
  3. Googlebot – Google Search Centraldevelopers.google.com
  4. Googles gängige Crawler – Google Search Centraldevelopers.google.com
  5. Google-Crawler verifizieren – Google Search Centraldevelopers.google.com

Stand: