Ein Tokenizer ist die Komponente, die Text in Tokens zerlegt und jedem Token eine Zahl (ID) aus einem festen Vokabular zuordnet. Erst diese Zahlen kann ein Sprachmodell verarbeiten. Im SEO-Umfeld taucht der Begriff meist bei Kontextgrenzen und Kosten von KI-Anwendungen auf.
Wie arbeitet ein Tokenizer?
Die Hugging-Face-Dokumentation unterscheidet drei Grundverfahren. Wortbasierte Tokenizer trennen an Wortgrenzen und brauchen ein sehr großes Vokabular. Zeichenbasierte Tokenizer kommen mit einem kleinen Vokabular aus, erzeugen aber viele Tokens pro Wort. Subword-Verfahren behalten häufige Wörter ganz und zerlegen seltene in sinnvolle Teile, etwa „annoyingly“ in „annoying“ und „ly“. Moderne Sprachmodelle nutzen Subword-Verfahren wie Byte-Pair Encoding (BPE), WordPiece oder SentencePiece.
Technisch läuft ein Tokenizer in zwei Richtungen. Beim Kodieren wird Text in Token-IDs übersetzt, beim Dekodieren werden IDs wieder zu Text. Bibliotheken wie Microsoft.ML.Tokenizers bieten dafür Funktionen, um Tokens zu zählen und Text auf eine bestimmte Tokenzahl zu kürzen.
Warum ist das für KI-Sichtbarkeit relevant?
Jedes Modell bringt seinen eigenen Tokenizer mit. Dieselbe Seite ergibt deshalb je nach Modell eine andere Tokenzahl. Nach OpenAI entspricht ein Token grob vier Zeichen oder etwa 0,75 Wörtern. Weil die Länge von Eingabe und Ausgabe zusammen die maximale Kontextlänge des Modells nicht überschreiten darf, entscheidet die Tokenzahl mit darüber, wie viel Text eines Dokuments ein Modell auf einmal sehen kann.
Beispiel
Der englische Satz „Text tokenization is the process of splitting a string into a list of tokens.“ besteht aus 14 Wörtern. Das Beispiel der Microsoft-Dokumentation zählt dafür mit dem Tiktoken-Tokenizer für GPT-5 16 Tokens. Häufige Wörter belegen je ein Token, „tokenization“ wird geteilt, und der Punkt zählt ebenfalls.
Häufige Fragen
Ist ein Tokenizer dasselbe wie ein Token? Nein. Das Token ist die Einheit, der Tokenizer das Programm, das den Text in diese Einheiten zerlegt.
Kann ich Tokens selbst zählen? Ja. Anbieter und Bibliotheken stellen Tokenizer als Tool oder Code bereit, mit dem sich die Tokenzahl eines Textes für ein bestimmtes Modell ermitteln lässt.
Quellen
- Tokenizers – Hugging Face LLM Course, Kapitel 2huggingface.co
- Verwenden von Microsoft.ML.Tokenizers für die Texttokenisierung – Microsoft Learnlearn.microsoft.com
- Key concepts: Tokens – OpenAI Docsdevelopers.openai.com
Stand: