Logfiles

Ein Access Log (Zugriffsprotokoll) ist die Datei, in der ein Webserver jede Anfrage einträgt, die er verarbeitet hat.

Das Combined Log Format ist ein Zeilenformat für Access Logs von Webservern.

Die Crawling-Statistik ist ein Bericht in der Google Search Console, der die Abrufe des Googlebot auf einer Domain zusammenfasst.

Eine Logfile-Analyse wertet die Protokolldateien eines Webservers aus, in denen jeder Abruf einer URL mit Zeitpunkt, Statuscode und …

Ein Logfile (Server-Log, Logdatei) ist das automatisch geführte Protokoll eines Servers.

Der Referrer nennt die Seite, von der ein Besucher zur aktuellen Seite gekommen ist.

Bot-Management bezeichnet alle Maßnahmen, mit denen ein Website-Betreiber automatisierte Zugriffe erkennt, einordnet und steuert.

Bot-Traffic bezeichnet alle Zugriffe auf eine Website, die von automatisierten Programmen ausgelöst werden.

Bot-Verifizierung bezeichnet im SEO- und Server-Kontext die Prüfung, ob ein Crawler tatsächlich von dem Betreiber stammt, für den er sich …

Ein Fake-Googlebot ist ein Client, der sich im User-Agent als Googlebot ausgibt, aber nicht von Google stammt.

IP-Ranges der Crawler sind die IP-Adressbereiche, von denen aus ein Suchmaschinenbetreiber seine Crawler betreibt.

Rate Limiting begrenzt, wie viele Anfragen ein Client in einem Zeitfenster an einen Server oder eine API stellen darf.