Bot-Management bezeichnet alle Maßnahmen, mit denen ein Website-Betreiber automatisierte Zugriffe erkennt, einordnet und steuert. Je nach Bot wird der Zugriff erlaubt, begrenzt oder blockiert. Eine herstellerneutrale Definition gibt es nicht, die Beschreibung fasst zusammen, wie Anbieter den Begriff verwenden.
Was gehört dazu?
Zuerst muss ein Bot erkannt und zugeordnet werden, etwa über User-Agent, IP-Adresse und Verhalten. Danach legen Regeln fest, was mit ihm geschieht. Typische Stellen dafür sind die robots.txt, eine Web Application Firewall (WAF) oder ein CDN mit eigener Bot-Erkennung. Anbieter wie Cloudflare ordnen KI-Bots zusätzlich nach ihrem Zweck ein: Suche, Agent oder Training.
Relevanz für SEO
Eine zu strenge Regel kann Suchmaschinen aussperren. Der User-Agent allein reicht zur Unterscheidung nicht aus, weil er sich fälschen lässt. Google beschreibt deshalb ein Verfahren mit Reverse-DNS-Lookup und anschließendem Forward-DNS-Lookup sowie veröffentlichte IP-Bereiche als JSON-Dateien. Die Domain im Reverse-DNS muss googlebot.com, google.com oder googleusercontent.com sein.
Umgekehrt stellt sich bei KI-Bots die Frage, ob sie erlaubt, blockiert oder lizenziert werden sollen. Das ist eine geschäftliche Entscheidung, die mit der Sichtbarkeit in KI-Antworten abgewogen werden muss.
Häufige Fehler
Ein Bot-Schutz auf Basis von Rate-Limits blockiert den Crawler eines Suchmaschinenbetreibers oder ein SEO-Tool. Im Access Log erscheinen dann 403- oder 429-Antworten für diesen User-Agent (Beispiel, erfunden).
Mehr dazu im searchVIU-Blog
Quellen
- Googlebot und andere Google-Crawler verifizieren – Google Search Centraldevelopers.google.com
- Bots – Cloudflare Docsdevelopers.cloudflare.com
Stand: