Embeddings (deutsch Einbettungen) sind Zahlenfolgen, die Objekte wie Wörter, Sätze, Dokumente, Bilder oder Audio als Punkte in einem Vektorraum darstellen. Inhaltlich ähnliche Objekte liegen dort nah beieinander. Dadurch lassen sich Bedeutungen berechnen und vergleichen.
Wie funktionieren Embeddings?
Ein Embedding-Modell übersetzt Eingaben in einen Vektor mit vielen Zahlen. IBM beschreibt, dass dabei hochdimensionale Daten in numerische Vektoren überführt werden und die Nähe der Vektoren die Ähnlichkeit der Objekte widerspiegelt. Gemessen wird der Abstand mit der euklidischen Distanz, der Kosinus-Ähnlichkeit oder dem Skalarprodukt.
Frühe Verfahren wie Word2vec und GloVe erzeugten für jedes Wort einen festen Vektor. Elastic nennt als Schwäche, dass sie mit Wörtern mehrerer Bedeutungen Schwierigkeiten haben und Verzerrungen aus den Trainingsdaten übernehmen können. Heutige Modelle bilden auch ganze Sätze und Absätze ab.
Wofür werden Embeddings genutzt?
Microsoft nennt als typische Einsätze die Suche nach ähnlichen Dokumenten, Bildern oder Produkten, Empfehlungen und das Erkennen von Auffälligkeiten. In KI-Suchsystemen mit Retrieval-Augmented Generation (RAG) werden Dokumentabschnitte und Nutzerfragen in Embeddings umgewandelt und in einer Vektordatenbank verglichen. So lassen sich Inhalte finden, die zur Frage passen, auch wenn andere Wörter verwendet werden.
Für Website-Texte heißt das, dass eine Frage und eine Seite zusammenfinden können, ohne dasselbe Stichwort zu enthalten. Wie einzelne Anbieter Embeddings im Ranking oder bei Zitaten gewichten, geben sie nicht preis.
Beispiel (illustrativ)
Die Sätze „Wie storniere ich meine Bestellung?“ und „Auftrag widerrufen“ nutzen keine gemeinsamen Hauptwörter. Ihre Embeddings liegen trotzdem nah beieinander, weil beide denselben Vorgang beschreiben. Die Kosinus-Ähnlichkeit der beiden Vektoren fällt entsprechend hoch aus, während sie zu „Wie ist das Wetter in Hamburg?“ niedrig bleibt.
Häufige Fragen
Sind Embeddings dasselbe wie Tokens? Nein. Tokens sind die Textbausteine, die ein Modell einliest. Embeddings sind die Zahlenvektoren, in die Tokens oder ganze Texte umgerechnet werden.
Kann man aus Embeddings den Originaltext zurückgewinnen? Nicht immer. Beim Verdichten gehen Informationen verloren.
Quellen
- Was ist Einbettung? – IBM Thinkibm.com
- Vektordatenbanken für .NET KI-Apps – Microsoft Learnlearn.microsoft.com
- Was sind Wort-Einbettungen? – Elasticelastic.co
Stand: