Ein Logfile (Server-Log, Logdatei) ist das automatisch geführte Protokoll eines Servers. Für SEO relevant ist vor allem das Access Log eines Webservers, das jede einzelne Anfrage festhält, also auch die von Crawlern.
Aufbau
Ein Webserver wie Apache führt zwei Hauptprotokolle. Das Access Log hält jede verarbeitete Anfrage fest. Das Error Log sammelt Diagnosemeldungen und Fehler bei der Verarbeitung. Alte Logs werden üblicherweise rotiert, etwa täglich oder bei Erreichen einer Größe.
Das gängige Format des Access Logs ist das Common Log Format. Es enthält pro Zeile die Client-IP, Zeitpunkt, die Request-Zeile mit Methode, URL und Protokoll, den HTTP-Statuscode und die Größe der Antwort. Das Combined Log Format ergänzt Referrer und User-Agent. Genau diese beiden Felder machen es für SEO nützlich, weil sich damit Crawler erkennen lassen.
IP-Adressen können personenbezogene Daten sein (EuGH, Urteil vom 19.10.2016, C-582/14, Breyer).
Keine Rechtsberatung.
Beispiel
Eine Zeile im Combined Log Format (Beispieldaten):
192.0.2.10 - - [06/Oct/2026:09:14:22 +0000] "GET /blog/glossar/ HTTP/1.1" 200 18452 "-" "ExampleBot/1.0"
Die Anfrage kam von 192.0.2.10, rief /blog/glossar/ per GET ab und bekam Status 200 mit 18.452 Bytes. Als User-Agent nennt sich der Client „ExampleBot/1.0“. Ein Referrer wurde nicht gesendet, daher steht dort ein Bindestrich.
Was lässt sich daraus lesen?
Aus Logs ist ablesbar, welche URLs Crawler tatsächlich abgerufen haben, wie oft und mit welchem Statuscode. Der User-Agent allein beweist die Identität eines Bots nicht, weil er sich fälschen lässt.
Häufige Fehler
- Logs nicht rotieren. Laut Apache wächst das Access Log auf einem durchschnittlich ausgelasteten Server um etwa 1 MB oder mehr pro 10.000 Anfragen. Ohne Rotation belegen Logs unbegrenzt Speicherplatz.
- Nach der Rotation das Signal vergessen. Bei externen Werkzeugen wie
logrotatemuss httpd die Dateien neu öffnen (Apache nennt einen Graceful Restart), sonst schreibt der Server in die alte Datei weiter. - Rohdaten ungeprüft weiterverarbeiten. Clients können Inhalte ohne Escaping in die Zeilen schreiben, auch Steuerzeichen. Apache rät zur Vorsicht im Umgang mit Rohlogs.
HostnameLookupseinschalten. Der Server löst dann Hostnamen statt IP-Adressen auf. Apache empfiehlt das nicht, weil es den Server deutlich verlangsamen kann.- Vom Access Log auf alle Zugriffe schließen. Das Log hält Anfragen fest, die der Server verarbeitet hat. Antwortet ein vorgelagerter Cache oder CDN, taucht die Anfrage dort nicht auf (Schlussfolgerung, keine Aussage der Apache-Doku).
Häufige Fragen
Kann man Logfiles löschen? Technisch ja. Wie lange Logs vorgehalten werden, hängt von Platz und Datenschutzvorgaben ab.
Quellen
- Log Files – Apache HTTP Server Documentationhttpd.apache.org
- EuGH, Urteil vom 19.10.2016, C-582/14 (Breyer) – EUR-Lexeur-lex.europa.eu
- Logdatei – Wikipedia (ergänzend)de.wikipedia.org
- Server-Log-Dateien – Rheinwunder (ergänzend)rheinwunder.com
Stand: