English
Logdaten & Formate

Logfile-Analyse

Auch genannt: Logfile Analyse, Log File Analyse, Server-Log-Analyse

Eine Logfile-Analyse wertet die Protokolldateien eines Webservers aus, in denen jeder Abruf einer URL mit Zeitpunkt, Statuscode und User-Agent verzeichnet ist. Im SEO zeigt sie, welche Seiten Googlebot, Bingbot und KI-Bots tatsächlich abrufen, wie oft und mit welchem Ergebnis.

Auf einen Blick

Art
Auswertung der Zugriffsprotokolle eines Webservers
Datenquelle
Access-Logs von Webserver oder CDN
Übliches Format
Combined Log Format (Apache, nginx combined)
Bot-Prüfung
Reverse- und Forward-DNS-Lookup oder IP-Listen der Betreiber
Doku
Google: Googlebot und andere Google-Crawler prüfen

Stand:

Was steht in einem Logfile?

Viele Webserver schreiben ihre Zugriffe im Combined Log Format, das unter anderem Apache dokumentiert. Eine Zeile enthält IP-Adresse, Zeitstempel, Anfragezeile mit URL, Statuscode, übertragene Bytes, Referrer und User-Agent:

Text
192.0.2.10 - - [06/Oct/2026:08:14:03 +0200] "GET /damen/laufschuhe/ HTTP/1.1" 200 51234 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Aus Millionen solcher Zeilen lässt sich ablesen, welche Bereiche Bots häufig besuchen, welche sie nie erreichen und wo sie auf Fehler oder Weiterleitungen stoßen. Tools wie Crawler oder die Search Console zeigen dagegen, was erreichbar wäre oder was Google zusammengefasst meldet.

IP-Adressen können personenbezogene Daten sein (EuGH, Urteil vom 19.10.2016, C-582/14, Breyer).

Keine Rechtsberatung.

Eine Logzeile im Combined Log Format, Feld für FeldBeispielzeile aus einem Access-Log im Combined Log Format, aufgeteilt in IP-Adresse, Identität und Benutzer, Zeitstempel, Anfragezeile, Statuscode, Bytes, Referrer und User-Agent. Der User-Agent nennt Googlebot, die IP-Adresse stammt aber aus einem Bereich für Dokumentationszwecke. Ob Google angefragt hat, zeigt erst eine Prüfung per DNS oder IP-Liste.access.log, eine Zeile (umbrochen)203.0.113.7 - - [08/Oct/2026:10:15:32 +0200] "GET /de/glossar/ HTTP/1.1" 200 5120 "-""Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"IP-Adresse203.0.113.7Client, bei Proxy dessen AdresseIdentität, Benutzer- -„-“ steht für fehlende AngabeZeitstempel[08/Oct/2026:10:15:32 +0200]Eingang der AnfrageAnfrage"GET /de/glossar/ HTTP/1.1"Methode, Pfad, ProtokollStatus200Statuscode der AntwortBytes5120Größe ohne Header, „-“ ohne InhaltReferrer"-"verweisende Seite, hier keineUser-AgentZeile 2Selbstauskunft des ClientsDer User-Agent nennt Googlebot, die IP liegt aber in einem Bereich für Dokumentationszwecke (RFC 5737).Ob Google angefragt hat, zeigt erst eine Prüfung per DNS oder IP-Liste.
Apache und nginx schreiben im Format „combined“ dieselben Felder in derselben Reihenfolge. IP-Adressen können personenbezogene Daten sein (EuGH, Urteil vom 19.10.2016, C-582/14). Keine Rechtsberatung. Quellen: Apache HTTP Server: Log Files (Combined Log Format); nginx: Modul ngx_http_log_module (log_format combined); RFC 5737: IPv4-Adressbereiche für Dokumentation; EuGH: Pressemitteilung 112/16 zum Urteil C-582/14.

Bots verifizieren

Wer sich als Googlebot ausgibt, ist nicht unbedingt Googlebot. Google beschreibt deshalb zwei Wege zur Prüfung: einen Reverse-DNS-Lookup der IP-Adresse, der auf googlebot.com, google.com oder googleusercontent.com enden muss, gefolgt von einem Forward-Lookup zurück auf dieselbe IP. Alternativ lässt sich die IP mit den von Google veröffentlichten IP-Listen abgleichen. Auch OpenAI veröffentlicht IP-Listen für seine Bots, zum Beispiel für OAI-SearchBot.

Wann lohnt sich eine Logfile-Analyse?

Besonders bei großen Websites, bei denen das Crawl-Budget knapp werden kann. Googles Leitfaden zum Crawl-Budget richtet sich als grobe Orientierung an Websites mit mehr als einer Million Seiten und wöchentlichen Änderungen oder mit mehr als 10.000 Seiten und täglichen Änderungen. Auch nach einem Relaunch zeigen Logfiles schnell, ob Bots alte URLs noch abrufen und welche Weiterleitungen sie bekommen.

Häufige Fehler

  • User-Agent ungeprüft übernehmen: Den User-Agent kann jeder Client frei setzen. Google weist darauf hin, dass sich auch Spammer als Google-Crawler ausgeben, und empfiehlt den DNS-Abgleich oder die veröffentlichten IP-Listen.
  • Nur googlebot.com als echt werten: Je nach Crawler endet der Hostname auch auf google.com oder googleusercontent.com. Google führt getrennte IP-Listen für reguläre Crawler, Spezial-Crawler und von Nutzern ausgelöste Abrufe. Wer nur eine Liste prüft, hält echte Google-Abrufe für Fälschungen.
  • Serverfehler und 429 übersehen: Antwortet eine Website Bots häufig mit 5xx oder 429, senkt Google laut Crawl-Budget-Leitfaden das Crawl-Limit und crawlt weniger.
  • Weiterleitungsketten nicht auswerten: Folgen im Log für eine alte URL mehrere 3xx-Antworten aufeinander, liegt eine Kette vor. Lange Ketten wirken sich laut Google negativ auf das Crawling aus.

Häufige Fragen

Wo finde ich Logfiles? Auf dem Webserver selbst. Der Speicherort hängt von der Konfiguration ab, bei Apache von der Direktive CustomLog, bei nginx von access_log (Standard dort logs/access.log im Combined-Format). Bei Shared Hosting stellen viele Anbieter die Dateien im Kundenbereich bereit. Liegt ein CDN vor dem Server, sehen die Logs des Ursprungsservers nur einen Teil der Abrufe, und die CDN-Logs werden wichtiger. Am Beispiel Cloudflare listet ein Praxisbeitrag aus dem Jahr 2026 auf, welche Abrufe im Server-Log fehlen. Dazu gehören blockierte und per Challenge abgefangene Anfragen, Antworten aus dem Edge-Cache sowie Anfragen, die Workers beantworten oder Rate Limiting drosselt. Sperrt eine Firewall-Regel einen Teil der Googlebot-Abrufe, zeigt das Server-Log nur weniger Crawling. Die Ursache steht dann in den Sicherheitsereignissen des CDN.

Mehr dazu im searchVIU-Blog

Quellen

  1. Log Files – Apache HTTP Server 2.4 Dokumentation (Combined Log Format)httpd.apache.org
  2. Googlebot und andere Google-Crawler prüfen – Google Search Centraldevelopers.google.com
  3. Crawling-Budget für große Websites verwalten – Google Search Centraldevelopers.google.com
  4. EuGH, Urteil vom 19.10.2016, C-582/14 (Breyer), dynamische IP-Adressen als personenbezogene Dateneur-lex.europa.eu
  5. Overview of OpenAI Crawlers – OpenAIdevelopers.openai.com
  6. Module ngx_http_log_module – nginx Dokumentationnginx.org
  7. Cloudflare-Grundlagen für SEO & GEO – searchVIU-Blog (2026)searchviu.com
  8. Security Events – Cloudflare WAF docsdevelopers.cloudflare.com

Stand: