# Logfile-Analyse

Kategorie: [Logfiles](https://seo-geo-glossary.com/de/glossar/kategorie/logfiles/) › [Logdaten & Formate](https://seo-geo-glossary.com/de/glossar/kategorie/logfiles/logdaten-formate/) · Auch genannt: Logfile Analyse, Log File Analyse, Server-Log-Analyse

Eine **Logfile-Analyse** wertet die Protokolldateien eines Webservers aus, in denen jeder Abruf einer URL mit Zeitpunkt, Statuscode und User-Agent verzeichnet ist. Im SEO zeigt sie, welche Seiten Googlebot, Bingbot und KI-Bots tatsächlich abrufen, wie oft und mit welchem Ergebnis.

## Was steht in einem Logfile?

Viele Webserver schreiben ihre Zugriffe im Combined Log Format, das unter anderem Apache dokumentiert. Eine Zeile enthält IP-Adresse, Zeitstempel, Anfragezeile mit URL, Statuscode, übertragene Bytes, Referrer und User-Agent:

```text
192.0.2.10 - - [06/Oct/2026:08:14:03 +0200] "GET /damen/laufschuhe/ HTTP/1.1" 200 51234 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
```

Aus Millionen solcher Zeilen lässt sich ablesen, welche Bereiche Bots häufig besuchen, welche sie nie erreichen und wo sie auf Fehler oder Weiterleitungen stoßen. Tools wie Crawler oder die Search Console zeigen dagegen, was erreichbar wäre oder was Google zusammengefasst meldet.

IP-Adressen können personenbezogene Daten sein (EuGH, Urteil vom 19.10.2016, C-582/14, Breyer).

Keine Rechtsberatung.

## Bots verifizieren

Wer sich als Googlebot ausgibt, ist nicht unbedingt Googlebot. Google beschreibt deshalb zwei Wege zur Prüfung: einen Reverse-DNS-Lookup der IP-Adresse, der auf `googlebot.com`, `google.com` oder `googleusercontent.com` enden muss, gefolgt von einem Forward-Lookup zurück auf dieselbe IP. Alternativ lässt sich die IP mit den von Google veröffentlichten IP-Listen abgleichen. Auch OpenAI veröffentlicht IP-Listen für seine Bots, zum Beispiel für OAI-SearchBot.

## Wann lohnt sich eine Logfile-Analyse?

Besonders bei großen Websites, bei denen das Crawl-Budget knapp werden kann. Googles Leitfaden zum Crawl-Budget richtet sich als grobe Orientierung an Websites mit mehr als einer Million Seiten und wöchentlichen Änderungen oder mit mehr als 10.000 Seiten und täglichen Änderungen. Auch nach einem Relaunch zeigen Logfiles schnell, ob Bots alte URLs noch abrufen und welche Weiterleitungen sie bekommen.

## Häufige Fehler

- **User-Agent ungeprüft übernehmen:** Den User-Agent kann jeder Client frei setzen. Google weist darauf hin, dass sich auch Spammer als Google-Crawler ausgeben, und empfiehlt den DNS-Abgleich oder die veröffentlichten IP-Listen.
- **Nur `googlebot.com` als echt werten:** Je nach Crawler endet der Hostname auch auf `google.com` oder `googleusercontent.com`. Google führt getrennte IP-Listen für reguläre Crawler, Spezial-Crawler und von Nutzern ausgelöste Abrufe. Wer nur eine Liste prüft, hält echte Google-Abrufe für Fälschungen.
- **Serverfehler und 429 übersehen:** Antwortet eine Website Bots häufig mit 5xx oder 429, senkt Google laut Crawl-Budget-Leitfaden das Crawl-Limit und crawlt weniger.
- **Weiterleitungsketten nicht auswerten:** Folgen im Log für eine alte URL mehrere 3xx-Antworten aufeinander, liegt eine Kette vor. Lange Ketten wirken sich laut Google negativ auf das Crawling aus.

## Häufige Fragen

**Wo finde ich Logfiles?**
Auf dem Webserver selbst. Der Speicherort hängt von der Konfiguration ab, bei Apache von der Direktive `CustomLog`, bei nginx von `access_log` (Standard dort `logs/access.log` im Combined-Format). Bei Shared Hosting stellen viele Anbieter die Dateien im Kundenbereich bereit. Liegt ein CDN vor dem Server, sehen die Logs des Ursprungsservers nur einen Teil der Abrufe, und die CDN-Logs werden wichtiger. Am Beispiel Cloudflare listet ein Praxisbeitrag aus dem Jahr 2026 auf, welche Abrufe im Server-Log fehlen. Dazu gehören blockierte und per Challenge abgefangene Anfragen, Antworten aus dem Edge-Cache sowie Anfragen, die Workers beantworten oder Rate Limiting drosselt. Sperrt eine Firewall-Regel einen Teil der Googlebot-Abrufe, zeigt das Server-Log nur weniger Crawling. Die Ursache steht dann in den Sicherheitsereignissen des CDN.

## Auf einen Blick

- **Art:** Auswertung der Zugriffsprotokolle eines Webservers
- **Datenquelle:** Access-Logs von Webserver oder CDN
- **Übliches Format:** Combined Log Format (Apache, nginx combined)
- **Bot-Prüfung:** Reverse- und Forward-DNS-Lookup oder IP-Listen der Betreiber
- **Doku:** [Google: Googlebot und andere Google-Crawler prüfen](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests?hl=de)

Stand: 8. Oktober 2026

*Grafik: Eine Logzeile, Feld für Feld.* Apache und nginx schreiben im Format „combined“ dieselben Felder in derselben Reihenfolge. IP-Adressen können personenbezogene Daten sein (EuGH, Urteil vom 19.10.2016, C-582/14). Keine Rechtsberatung.

## Verwandte Begriffe

- [Logfile (Server-Log)](https://seo-geo-glossary.com/de/glossar/logfile/index.md)
- [Bot-Verifizierung](https://seo-geo-glossary.com/de/glossar/bot-verifizierung/index.md)
- [Crawl-Budget](https://seo-geo-glossary.com/de/glossar/crawl-budget/index.md)
- [KI-Crawler (AI Crawler)](https://seo-geo-glossary.com/de/glossar/ki-crawler/index.md)
- [Agent Analytics](https://seo-geo-glossary.com/de/glossar/agent-analytics/index.md)

## Mehr dazu im searchVIU-Blog

- [Cloudflare-Grundlagen für SEO & GEO](https://www.searchviu.com/de/cloudflare-fur-seo-und-geo-teil-1/)

## Quellen

- [Log Files – Apache HTTP Server 2.4 Dokumentation (Combined Log Format)](https://httpd.apache.org/docs/2.4/logs.html)
- [Googlebot und andere Google-Crawler prüfen – Google Search Central](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests?hl=de)
- [Crawling-Budget für große Websites verwalten – Google Search Central](https://developers.google.com/crawling/docs/crawl-budget?hl=de)
- [EuGH, Urteil vom 19.10.2016, C-582/14 (Breyer), dynamische IP-Adressen als personenbezogene Daten](https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:62014CJ0582)
- [Overview of OpenAI Crawlers – OpenAI](https://developers.openai.com/api/docs/bots)
- [Module ngx_http_log_module – nginx Dokumentation](https://nginx.org/en/docs/http/ngx_http_log_module.html)
- [Cloudflare-Grundlagen für SEO & GEO – searchVIU-Blog (2026)](https://www.searchviu.com/de/cloudflare-fur-seo-und-geo-teil-1/)
- [Security Events – Cloudflare WAF docs](https://developers.cloudflare.com/waf/analytics/security-events/)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/logfile-analyse/