GoogleOther ist ein generischer Crawler von Google, den verschiedene Produktteams für den Abruf öffentlich erreichbarer Inhalte nutzen können. Eingesetzt wird er unter anderem für einmalige Crawls in Forschung und Entwicklung.
Auf einen Blick
- Betreiber
- Zweck
- Generischer Crawler für Produktteams, z. B. einmalige Crawls für Forschung und Entwicklung
- robots.txt-Token
GoogleOther,GoogleOther-Image,GoogleOther-Video- Beachtet robots.txt
- Ja, beim automatischen Crawling
Stand:
Wofür steht GoogleOther?
Googlebot baut den Suchindex auf. Aufgaben außerhalb davon, etwa interne Forschungs- und Entwicklungs-Crawls, übernimmt GoogleOther. Google führte ihn laut Berichten im April 2023 ein, damit Googlebot entlastet wird.
Laut Google wirken sich robots.txt-Regeln für GoogleOther auf kein bestimmtes Produkt aus. Das gilt auch für die Varianten GoogleOther-Image und GoogleOther-Video, die auf Bilder und Videos ausgerichtet sind. Sie beachten ebenfalls die Regeln für den Token GoogleOther.
Google-Extended ist ein anderer Token. Er steuert, ob Inhalte für Gemini-Modelle genutzt werden dürfen.
| Crawler | robots.txt-Token | Zweck | Wirkung einer Sperre auf die Google Suche | Im Log erkennbar an |
|---|---|---|---|---|
| Googlebot Smartphone | Googlebot | Crawling für Google Suche (inkl. Discover), Bilder, Video, News; Hauptcrawler für die meisten Websites | Seiten werden für die Suche nicht mehr gecrawlt | Googlebot/ mit Android-Kennung |
| Googlebot Desktop | Googlebot | wie Smartphone, simuliert einen Desktop-Nutzer | wie Smartphone (gleiches Token, nicht getrennt sperrbar) | Googlebot/ ohne Mobil-Kennung |
| Storebot-Google | Storebot-Google | Shopping: Produkte entdecken und indexieren | betrifft Shopping-Flächen inkl. Shopping-Tab der Suche | Storebot-Google/ |
| GoogleOther (dieser Begriff) | GoogleOther | generischer Crawler für Produktteams, z. B. einmalige Crawls für Forschung und Entwicklung | betrifft laut Google kein bestimmtes Produkt | GoogleOther |
| Google-InspectionTool | Google-InspectionTool, Googlebot | Testwerkzeuge: Rich-Results-Test, URL-Prüfung in der Search Console | keine (betrifft nur die Testwerkzeuge) | Google-InspectionTool/ |
| Google-CloudVertexBot | Google-CloudVertexBot, Googlebot | Crawls auf Anfrage des Website-Betreibers für Vertex AI Agents | keine | Google-CloudVertexBot |
| Google-Extended | Google-Extended | Steuert, ob Inhalte für Gemini-Training und Grounding genutzt werden | keine; laut Google kein Einfluss auf Aufnahme in die Suche und kein Rankingsignal | gar nicht (kein eigener User-Agent-String) |
Googlebot Smartphone und Desktop teilen sich das Token Googlebot und lassen sich in der robots.txt nicht einzeln ansprechen. Laut Google stammt der Großteil der Googlebot-Anfragen vom mobilen Crawler. Google-Extended ist ein reines Steuerungs-Token; gecrawlt wird mit den bestehenden Google-User-Agents. Alle hier genannten Crawler gehören zu Googles gängigen Crawlern, die robots.txt bei automatischen Crawls immer beachten. Quellen: Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google Search Central: Googlebot (last updated 2026-02-03). Stand: .
Beispiel
User-agent: GoogleOther
Disallow: /
Damit schließt eine Website GoogleOther aus. Die Google Suche bleibt unberührt.
Quellen
- Googles gängige Crawler – Google Search Centraldevelopers.google.com
- Google launches a new crawler named GoogleOther – Search Engine Landsearchengineland.com
Stand: