Der Googlebot Smartphone ist die mobile Variante des Googlebots. Er ruft Seiten mit der Kennung eines Android-Smartphones ab. Google crawlt damit den größten Teil seiner Anfragen und baut den Index in erster Linie aus der mobilen Version einer Seite auf.
Auf einen Blick
- Betreiber
- Zweck
- Crawling für die Google Suche (inkl. Discover), Bilder, Video, News
- robots.txt-Token
Googlebot- Beachtet robots.txt
- Ja, beim automatischen Crawling
- User-Agent
Googlebot/2.1mit Android-Kennung
Stand:
Was ist daran wichtig?
Google gibt an, dass die Mehrheit der Googlebot-Anfragen vom mobilen Crawler kommt und nur eine Minderheit vom Desktop-Crawler. Für Indexierung und Ranking nutzt Google bei den meisten Websites die mit dem Smartphone-Agent gecrawlte Fassung. Google verlangt deshalb, dass die mobile Version dieselben Inhalte zeigt wie die Desktop-Version.
In der robots.txt gibt es für beide Varianten dasselbe Token, Googlebot. Smartphone- und Desktop-Crawler lassen sich darüber nicht getrennt steuern.
| Crawler | robots.txt-Token | Zweck | Wirkung einer Sperre auf die Google Suche | Im Log erkennbar an |
|---|---|---|---|---|
| Googlebot Smartphone (dieser Begriff) | Googlebot | Crawling für Google Suche (inkl. Discover), Bilder, Video, News; Hauptcrawler für die meisten Websites | Seiten werden für die Suche nicht mehr gecrawlt | Googlebot/ mit Android-Kennung |
| Googlebot Desktop | Googlebot | wie Smartphone, simuliert einen Desktop-Nutzer | wie Smartphone (gleiches Token, nicht getrennt sperrbar) | Googlebot/ ohne Mobil-Kennung |
| Storebot-Google | Storebot-Google | Shopping: Produkte entdecken und indexieren | betrifft Shopping-Flächen inkl. Shopping-Tab der Suche | Storebot-Google/ |
| GoogleOther | GoogleOther | generischer Crawler für Produktteams, z. B. einmalige Crawls für Forschung und Entwicklung | betrifft laut Google kein bestimmtes Produkt | GoogleOther |
| Google-InspectionTool | Google-InspectionTool, Googlebot | Testwerkzeuge: Rich-Results-Test, URL-Prüfung in der Search Console | keine (betrifft nur die Testwerkzeuge) | Google-InspectionTool/ |
| Google-CloudVertexBot | Google-CloudVertexBot, Googlebot | Crawls auf Anfrage des Website-Betreibers für Vertex AI Agents | keine | Google-CloudVertexBot |
| Google-Extended | Google-Extended | Steuert, ob Inhalte für Gemini-Training und Grounding genutzt werden | keine; laut Google kein Einfluss auf Aufnahme in die Suche und kein Rankingsignal | gar nicht (kein eigener User-Agent-String) |
Googlebot Smartphone und Desktop teilen sich das Token Googlebot und lassen sich in der robots.txt nicht einzeln ansprechen. Laut Google stammt der Großteil der Googlebot-Anfragen vom mobilen Crawler. Google-Extended ist ein reines Steuerungs-Token; gecrawlt wird mit den bestehenden Google-User-Agents. Alle hier genannten Crawler gehören zu Googles gängigen Crawlern, die robots.txt bei automatischen Crawls immer beachten. Quellen: Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google Search Central: Googlebot (last updated 2026-02-03). Stand: .
User-Agent
Der User-Agent enthält die Zeichenfolge Googlebot/2.1 und eine Chrome-Version, die sich ändert:
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Ein User-Agent lässt sich fälschen. Google empfiehlt, die Quell-IP per Reverse-DNS-Lookup zu prüfen oder mit den veröffentlichten IP-Bereichen abzugleichen.
Quellen
- Googlebot – Google Search Centraldevelopers.google.com
- Gängige Google-Crawler (User-Agents) – Google Crawling Infrastructuredevelopers.google.com
- Mobile-First-Indexierung – Google Search Centraldevelopers.google.com
Stand: