Ein Transformer ist in der KI eine Architektur für neuronale Netze, die Text und andere Sequenzen mit einem Aufmerksamkeitsmechanismus (Self-Attention) verarbeitet. Vorgestellt wurde sie 2017 im Paper „Attention Is All You Need“. Sie bildet die Grundlage moderner Sprachmodelle.
Wie funktioniert ein Transformer?
Die Autoren um Ashish Vaswani reichten das Paper am 12. Juni 2017 ein und stellten es auf der NeurIPS-Konferenz 2017 vor. Ihr Modell stützt sich allein auf Aufmerksamkeitsmechanismen und verzichtet auf rekurrente und faltende Netze.
Der Text wird zuerst in Tokens zerlegt und in Vektoren (Embeddings) umgewandelt. Eine Positionskodierung hält die Wortreihenfolge fest. Beim Self-Attention-Schritt berechnet das Modell für jedes Token, wie stark es sich auf jedes andere Token der Eingabe beziehen soll. Dafür dienen Query-, Key- und Value-Vektoren. Weil sich diese Berechnungen parallel ausführen lassen, trainieren Transformer schneller als ältere sequenzielle Netze.
Je nach Aufbau gibt es Varianten. BERT besteht laut seinem Paper aus einem bidirektionalen Transformer-Encoder und eignet sich zum Verstehen von Text. Bei GPT (Generative Pre-trained Transformer) steht die Architektur im Namen. Das erste GPT-Modell bestand laut seinem Paper aus einem Transformer-Decoder und erzeugt Text.
Was bedeutet das für SEO und KI-Suche?
Sprachmodelle in KI-Antworten verarbeiten Seiteninhalte als Tokens in einem begrenzten Kontextfenster. Laut dem Originalpaper wächst der Rechenaufwand der Self-Attention quadratisch mit der Länge der Eingabe. Das ist ein technischer Grund, warum Systeme meist ausgewählte Textabschnitte statt ganzer Websites laden (Einschätzung).
Beispiel
Im Satz „Die Bank am Fluss ist frisch gestrichen“ gewichtet Self-Attention das Wort „Fluss“ stark für die Deutung von „Bank“. Das Modell liest „Sitzgelegenheit“ statt „Geldinstitut“. Das Beispiel ist vereinfacht.
Häufige Fragen
Was heißt Transformer in der KI? Der Name beschreibt, dass die Architektur Eingabesequenzen in andere Darstellungen umwandelt, zum Beispiel Text in Vektoren und wieder in Text.
Wofür werden Transformer eingesetzt? Für Übersetzung, Textgenerierung und Zusammenfassungen. Vision Transformer übertragen das Prinzip auf Bilder.
Quellen
- Attention Is All You Need – arXiv:1706.03762 (Vaswani et al., 12.06.2017)arxiv.org
- Attention Is All You Need – Google Research (NeurIPS 2017)research.google
- Transformer (Maschinelles Lernen) – Wikipedia (Zweitquelle)de.wikipedia.org
- Was ist ein Transformator-Modell? – IBM (Zweitquelle)ibm.com
- Wie funktionieren Transformer? – Informatik Aktuell (Zweitquelle)informatik-aktuell.de
- BERT: Pre-training of Deep Bidirectional Transformers – arXiv:1810.04805arxiv.org
- Improving Language Understanding by Generative Pre-Training (GPT) – OpenAI, 2018cdn.openai.com
Stand: