# Token

Kategorie: [KI-Suche & GEO](https://seo-geo-glossary.com/de/glossar/kategorie/ki-suche-geo/) › [KI- und LLM-Grundlagen](https://seo-geo-glossary.com/de/glossar/kategorie/ki-suche-geo/ki-llm-grundlagen/) · Auch genannt: KI-Token, Sprachmodell-Token

Ein **Token** ist im KI-Kontext die kleinste Texteinheit, in die ein Sprachmodell Eingaben zerlegt. Ein Token kann ein ganzes Wort, ein Wortteil, ein Satzzeichen oder ein einzelnes Zeichen sein. Mit Kryptowährungen, Zugangs-Token oder Design-Token hat der Begriff hier nichts zu tun.

## Wie lang ist ein Token?

OpenAI beschreibt Tokens als häufig vorkommende Zeichenfolgen. Als Richtwert gelten etwa vier Zeichen oder rund 0,75 Wörter pro Token. Das Wort „tokenization“ besteht in dieser Dokumentation aus zwei Tokens, „token“ und „ization“. Die genaue Zerlegung hängt vom Tokenizer des Modells ab. Unterschiedliche Modelle teilen denselben Text deshalb unterschiedlich auf.

Nach der Zerlegung werden die Tokens in Zahlen (IDs) umgewandelt und weiterverarbeitet, etwa zu Embeddings.

## Wofür zählen Tokens?

Das Kontextfenster eines Modells misst sich in Tokens. Bei Textmodellen darf die Länge von Eingabe und Ausgabe zusammen die maximale Kontextlänge nicht überschreiten. Bei Embedding-Modellen muss die Eingabe darunter liegen. Wie groß das Fenster ist, hängt vom Modell ab.

Außerdem rechnen viele Anbieter Nutzung nach Tokens ab. Microsoft nennt das Verwalten von Tokenzahlen und das Schätzen von Kosten als Gründe, Tokens zu zählen. Wer Prompts oder Seiteninhalte für KI-Anwendungen vorbereitet, kann Tokens mit dem Tokenizer des jeweiligen Modells zählen.

## Beispiel

Der englische Satz „Text tokenization is the process of splitting a string into a list of tokens.“ hat 14 Wörter. In der Microsoft-Dokumentation ergibt er mit dem GPT-5-Tokenizer 16 Tokens. Ein kurzer Absatz von 150 Wörtern liegt nach der Faustregel bei rund 200 Tokens.

## Häufige Fragen

**Ist ein Token ein Wort?**
Nicht immer. Häufige Wörter sind oft ein Token, seltene oder lange Wörter werden in mehrere zerlegt.

**Warum nennen Anbieter Grenzen in Tokens statt in Wörtern?**
Das Modell verarbeitet intern Tokens. Die Wortzahl, die in ein Kontextfenster passt, schwankt je nach Sprache und Text.

## Verwandte Begriffe

- [Tokenizer](https://seo-geo-glossary.com/de/glossar/tokenizer/index.md)
- [Kontextfenster](https://seo-geo-glossary.com/de/glossar/kontextfenster/index.md)
- [Large Language Model (LLM)](https://seo-geo-glossary.com/de/glossar/large-language-model/index.md)
- [Embeddings](https://seo-geo-glossary.com/de/glossar/embeddings/index.md)

## Quellen

- [Key concepts: Tokens – OpenAI Docs](https://developers.openai.com/api/docs/concepts)
- [Verwenden von Microsoft.ML.Tokenizers für die Texttokenisierung – Microsoft Learn](https://learn.microsoft.com/de-de/dotnet/ai/how-to/use-tokenizers)
- [KI-Token – BigData-Insider (Zweitquelle)](https://www.bigdata-insider.de/token-kuenstliche-intelligenz-sprachmodelle-a-0d9443e09bf74d5212776c077cb9baea/)

---

Stand: 7. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/token/