Agent Analytics bezeichnet die Auswertung von Zugriffen durch KI-Bots und KI-Agenten auf eine Website, in der Regel über Server- oder CDN-Logs. Der Begriff ist nicht genormt und kommt vor allem von Anbietern solcher Werkzeuge. Nicht gemeint ist „Agentic Analytics“, bei dem KI-Agenten Daten analysieren.
Auf einen Blick
- Art
- Auswertung (Methode, nicht genormt)
- Wirkt auf
- Zugriffe von KI-Bots und KI-Agenten
- Genutzt in
- Server-, Proxy- und CDN-Logs
Stand:
Was misst Agent Analytics?
Klassische Web-Analytics arbeiten im Browser des Besuchers. Laut Siteline umgehen die meisten KI-Bots JavaScript, ein Tracking-Skript sieht sie darum nicht. Ihre Anfragen tauchen aber im Server- oder CDN-Log auf, das Anbieter wie LLM Pulse und Profound auswerten.
Typische Fragen sind, welche Bots die Website aufrufen, welche Seiten sie abrufen, welche Statuscodes sie erhalten und wie sich das über die Zeit verändert. Die Bots lassen sich nach Aufgabe gruppieren. Cloudflare unterscheidet nach Verhalten zwischen Search, Agent und Training.
Wie hängt das mit Logfile-Analyse zusammen?
Agent Analytics ist eine Logfile-Analyse mit Fokus auf KI-Bots (Einschätzung). Die Datenquelle bleibt dieselbe. Neu ist die Zuordnung von User-Agents zu Betreibern, Zweck und Seitentyp.
IP-Adressen in Logs können personenbezogene Daten sein (EuGH, Urteil vom 19.10.2016, C-582/14, Breyer).
Beispiel
Diese Auswertung zählt die Statuscodes, die GPTBot in einem Log im Combined Log Format erhalten hat:
grep "GPTBot" access.log | awk '{print $9}' | sort | uniq -c
Zeigt das Ergebnis viele 404-Antworten, ruft der Bot Seiten ab, die nicht mehr existieren.
Häufige Fehler
- Nur Analytics-Daten auswerten. Laut Siteline umgehen die meisten KI-Bots JavaScript. Ein Tracking-Skript erfasst diese Zugriffe nicht, das Server- oder CDN-Log schon.
- Dem User-Agent allein vertrauen. Anfragen können sich als bekannter Crawler ausgeben. Google beschreibt deshalb die Prüfung per Reverse-DNS und veröffentlichte IP-Bereiche, und andere Betreiber veröffentlichen IP-Listen.
- Alle KI-Bots zusammenfassen. Cloudflare unterscheidet Search, Agent und Training nach Verhalten. Die Gruppen zeigen unterschiedliche Dinge, etwa Abrufe für Antworten oder für Trainingsdaten.
Häufige Fragen
Warum reicht Google Analytics dafür nicht? Laut Siteline umgehen die meisten KI-Bots JavaScript, ein Tracking-Skript wird dann nicht ausgelöst.
Welche Daten brauche ich? Zugriff auf Server-, Proxy- oder CDN-Logs mit User-Agent, Statuscode und angeforderter URL.
Mehr dazu im searchVIU-Blog
Quellen
- Bots and AI classification – Cloudflare Docsdevelopers.cloudflare.com
- Agent Analytics – LLM Pulse Help Center (Anbieterdokumentation)llmpulse.ai
- Why track AI bot & agent traffic? – Siteline Docs (Anbieterdokumentation)docs.siteline.ai
- Agent Analytics – Profound (Anbieterseite)tryprofound.com
- Verifying Google crawlers and fetchers – Google Search Centraldevelopers.google.com
- EuGH, Urteil vom 19.10.2016, C-582/14 (Breyer) – EUR-Lexeur-lex.europa.eu
Stand: