Bytespider ist ein Web-Crawler, der laut Berichten vom Unternehmen ByteDance betrieben wird, zu dem TikTok gehört. Er sammelt Webseiten und erscheint in Server-Logs mit dem User-Agent-Token Bytespider. Eine offizielle Beschreibung von ByteDance konnte nicht gefunden werden.
Auf einen Blick
- Betreiber
- ByteDance (Zuordnung laut Berichten)
- Zweck
- laut Berichten Sammeln von Webdaten, vermutlich für KI-Training und Suche in TikTok
- robots.txt-Token
Bytespider- Beachtet robots.txt
- keine Angabe des Betreibers
- Doku
- keine Betreiber-Dokumentation auffindbar
Stand:
Was ist über Bytespider bekannt?
Bot-Verzeichnisse wie Trakkr führen Bytespider als Crawler oder Fetcher von ByteDance, der Seiten für KI-Modelle sammelt. Trakkr stuft die Zuordnung ausdrücklich als berichtet, aber nicht vom Betreiber verifiziert ein. Zweck, IP-Bereiche und ein Verfahren zur Echtheitsprüfung hat ByteDance nach dem Stand der Recherche nicht veröffentlicht.
Für Website-Betreiber folgt daraus, dass sich ein Zugriff unter diesem Namen nicht eindeutig einem Betreiber zuordnen lässt. Der User-Agent allein beweist nichts, weil er sich beliebig setzen lässt.
| Bot | Betreiber | Zweck | robots.txt-Token | robots.txt laut Betreiber | IP-Liste veröffentlicht? |
|---|---|---|---|---|---|
| Google-Extended | Steuerung von Gemini-Training und Grounding (kein eigener Crawler) | Google-Extended | reines robots.txt-Token; abgerufen wird mit den bestehenden Google-Crawlern | entfällt (kein eigener User-Agent) | |
| GPTBot | OpenAI | Training | GPTBot | Sperre heißt laut OpenAI: Inhalte nicht für das Training von Basismodellen nutzen | ja (openai.) |
| OAI-SearchBot | OpenAI | Suche (ChatGPT) | OAI-SearchBot | gesperrte Websites erscheinen laut OpenAI nicht in ChatGPT-Suchantworten | ja (openai.) |
| ChatGPT-User | OpenAI | Nutzerabruf | ChatGPT-User | robots.txt-Regeln gelten laut OpenAI möglicherweise nicht (Abruf durch Nutzer ausgelöst) | ja (openai.) |
| ClaudeBot | Anthropic | Training | ClaudeBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| Claude-SearchBot | Anthropic | Suche (Claude) | Claude-SearchBot | ja, laut Anthropic beachten seine Bots die robots.txt | ja (claude.) |
| PerplexityBot | Perplexity | Suche (Perplexity), laut Perplexity kein Training | PerplexityBot | über robots.txt steuerbar; eine ausdrückliche Befolgungszusage fehlt in der Doku | ja (perplexity.) |
| Applebot-Extended | Apple | Steuerung des KI-Trainings (crawlt laut Apple nicht) | Applebot-Extended | reines robots.txt-Token für bereits gecrawlte Inhalte | entfällt (kein eigener Crawler) |
| CCBot | Common Crawl | offenes Web-Archiv | CCBot | per robots.txt sperrbar laut Common Crawl | ja (index.) |
| Meta-ExternalAgent | Meta | Training von KI-Basismodellen, Produktverbesserung | meta-externalagent | per robots.txt sperrbar laut Meta | keine Angabe des Betreibers |
Auswahl von zehn KI-Bots großer Anbieter, keine vollständige Liste. Alle Werte stammen aus der Dokumentation des jeweiligen Betreibers (Stand 8. Oktober 2026). Ob ein Bot sich tatsächlich an die robots.txt hält, sagt die Tabelle nicht; sie gibt nur die Angaben der Betreiber wieder. Ein User-Agent lässt sich fälschen, echte Zugriffe erkennt man über die veröffentlichten IP-Listen oder Reverse-DNS. Quellen: OpenAI: Overview of OpenAI Crawlers; Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (updated 2026-04-07); Perplexity: Perplexity Crawlers; Google: Google's common crawlers (last updated 2026-07-14); Google: Overview of Google crawlers and fetchers (last updated 2026-06-12); Google: Verifying Google crawlers and fetchers (IP range files); Apple: About Applebot (2026-09-04); Meta: Meta Web Crawlers; Common Crawl: CCBot. Stand: .
Wie lässt sich Bytespider steuern?
Nach RFC 9309 greifen robots.txt-Regeln für den User-Agent, den ein Crawler verwendet. Ein Eintrag für Bytespider wirkt, wenn der Bot sich unter diesem Namen meldet und die Regel beachtet. RFC 9309 hält zugleich fest, dass diese Regeln keine Form der Zugriffsautorisierung sind. Wer zuverlässig sperren will, braucht deshalb zusätzlich serverseitige Maßnahmen (Einschätzung).
Beispiel
User-agent: Bytespider
Disallow: /
Nach der Änderung lässt sich im Logfile prüfen, ob weiterhin Anfragen mit diesem User-Agent eintreffen.
Häufige Fehler
- robots.txt als Zugriffsschutz verstehen. RFC 9309 hält fest, dass die Regeln keine Form der Zugriffsautorisierung sind. Wer einen Zugriff sicher verhindern muss, braucht serverseitige Maßnahmen.
- Dem User-Agent als Herkunftsnachweis vertrauen. Der Wert steht in der Anfrage und lässt sich beliebig setzen. Von ByteDance sind weder IP-Bereiche noch ein Prüfverfahren veröffentlicht.
Häufige Fragen
Gehört Bytespider sicher zu ByteDance? Belegt ist das nur über Zweitquellen. Eine Bestätigung von ByteDance liegt nicht vor.
Beachtet Bytespider die robots.txt? Dazu gibt es keine geprüfte Aussage. Das Verhalten lässt sich nur am eigenen Log beobachten.
Quellen
- RFC 9309: Robots Exclusion Protocol – IETFrfc-editor.org
- Bytespider – Trakkr (Zweitquelle)trakkr.ai
Stand: