- Bingbot
Der Bingbot ist der Webcrawler von Microsoft Bing.
- Bösartige Bots (Bad Bots)
Bad Bots (auch Rogue Bots) sind automatische Programme, die eine Website gegen den Willen des Betreibers aufrufen oder deren Regeln …
- Crawler
Ein Crawler (auch Webcrawler, Spider oder Bot) ist ein Programm, das Webseiten automatisch abruft und den Links darauf folgt, um weitere …
- DuckDuckBot
DuckDuckBot ist der Web-Crawler der Suchmaschine DuckDuckGo.
- Googlebot
Googlebot ist der Web-Crawler der Google Suche.
- Googlebot Smartphone
Der Googlebot Smartphone ist die mobile Variante des Googlebots.
- Google-InspectionTool
Google-InspectionTool ist ein Google-Crawler, der bei Testwerkzeugen der Suche zum Einsatz kommt, zum Beispiel beim Rich-Results-Test und …
- GoogleOther
GoogleOther ist ein generischer Crawler von Google, den verschiedene Produktteams für den Abruf öffentlich erreichbarer Inhalte nutzen …
- User-Agent
User-Agent ist ein HTTP-Header, mit dem ein Client dem Server mitteilt, welche Software die Anfrage stellt, etwa ein Browser, ein Crawler …