KI-Bots & Crawler

Ein Browser-Agent ist ein KI-System, das einen Webbrowser wie ein Mensch bedient.

Ein KI-Crawler (englisch AI Crawler) ist ein automatisiertes Programm, das Webseiten für KI-Anwendungen abruft.

Ein KI-Such-Crawler ist ein Crawler, der Webseiten für die Suchfunktion eines KI-Dienstes abruft.

Ein Scraper ist ein Programm, das Daten aus Webseiten automatisiert ausliest und in ein anderes Format überträgt, etwa in eine Tabelle …

Ein Trainings-Crawler ist ein KI-Crawler, der Webseiten abruft, um Inhalte für das Training von KI-Modellen zu sammeln.

Ein User-triggered Fetcher (nutzerausgelöster Abruf) ist ein automatisches Programm, das eine Seite abruft, weil eine Person das in einem …

anthropic-ai ist ein User-Agent-Name, der in vielen robots.txt-Dateien steht, um Crawler von Anthropic auszuschließen.

ChatGPT Agent ist die Funktion von OpenAI, mit der ChatGPT mehrstufige Aufgaben im Web im Auftrag eines Nutzers erledigt.

ChatGPT-User ist ein User-Agent von OpenAI.

ClaudeBot ist der Web-Crawler von Anthropic, dem Unternehmen hinter dem KI-Assistenten Claude.

Claude-SearchBot ist ein Crawler von Anthropic, der Webinhalte indexiert, um die Qualität und Genauigkeit von Suchergebnissen in Claude zu …

Claude-User ist der User-Agent, mit dem Claude, der KI-Assistent von Anthropic, Webseiten abruft, wenn Nutzer eine Frage stellen.

GPTBot ist der Web-Crawler von OpenAI, der öffentlich zugängliche Webinhalte sammelt, um die generativen KI-Modelle des Unternehmens …

OAI-SearchBot ist ein Crawler von OpenAI.

PerplexityBot ist der Crawler der KI-Suchmaschine Perplexity.

Perplexity-User ist ein User-Agent von Perplexity, der Webseiten aufruft, wenn ein Nutzer in Perplexity eine Frage stellt und die Antwort …

Amazonbot ist der Web-Crawler von Amazon.

Amzn-SearchBot ist ein Crawler von Amazon, der laut Amazon Sucherlebnisse in Amazon-Produkten und -Diensten verbessert.

Amzn-User ist ein Abrufer (Fetcher) von Amazon, der Webseiten im Auftrag von Nutzern lädt.

Applebot ist der Web-Crawler von Apple, der Inhalte für Suchfunktionen wie Spotlight, Siri und Safari sammelt.

Bytespider ist ein Web-Crawler, der laut Berichten vom Unternehmen ByteDance betrieben wird, zu dem TikTok gehört.

CCBot ist der Web-Crawler der gemeinnützigen Organisation Common Crawl.

cohere-ai ist ein User-Agent-Token, das dem KI-Unternehmen Cohere zugeschrieben wird.

Diffbot ist ein Unternehmen, das Webseiten mit KI in strukturierte Daten umwandelt.

DuckAssistBot ist der Crawler von DuckDuckGo für die KI-gestützten Antworten („AI-assisted answers“) in der DuckDuckGo-Suche.

Google-CloudVertexBot ist ein Crawler von Google, der Websites im Auftrag ihrer Betreiber abruft, damit diese Inhalte in Vertex-AI-Agenten …

Meta-ExternalAgent ist ein Web-Crawler von Meta (Facebook, Instagram, WhatsApp).

Meta-ExternalFetcher ist ein Abrufdienst von Meta, der einzelne Links auf Anfrage von Nutzern lädt.

Meta-WebIndexer ist ein Crawler von Meta, der laut Meta die Qualität der Suchergebnisse von Meta AI verbessern soll.

MistralAI-User ist der User-Agent, mit dem der KI-Assistent von Mistral AI Webseiten abruft, wenn ein Nutzer eine Frage stellt.

YouBot ist der Web-Crawler der Suchmaschine You.com.

Agent Analytics bezeichnet die Auswertung von Zugriffen durch KI-Bots und KI-Agenten auf eine Website, in der Regel über Server- oder …

Das Crawl-to-Referral-Verhältnis (auch Crawl-to-Refer-Ratio) gibt an, wie viele Seiten ein Dienst abruft, verglichen mit der Zahl der …

KI-Bots blockieren heißt, einzelnen KI-Crawlern den Zugriff auf eine Website zu verweigern.

Pay per Crawl bezeichnet das Modell, dass ein Crawler für den Abruf von Webseiten bezahlt.

Web Bot Auth ist ein Verfahren, mit dem sich automatisierte Clients wie Crawler oder KI-Agenten gegenüber Websites per kryptografischer …