English

Die Vektorsuche findet inhaltlich ähnliche Daten, indem Texte, Bilder oder Audiodaten als Zahlenvektoren (Embeddings) dargestellt und über ihren Abstand verglichen werden. Sie arbeitet mit Bedeutungsnähe statt mit exakten Wortübereinstimmungen.

Wie funktioniert die Vektorsuche?

Ein Embedding-Modell wandelt Inhalte in Vektoren um, die in einer Vektordatenbank oder einem Suchindex liegen. Die Suchanfrage wird auf dieselbe Weise in einen Vektor umgerechnet. Das System liefert die Inhalte, deren Vektoren dem Anfragevektor am nächsten liegen.

Als Maß für die Nähe nennt IBM unter anderem die euklidische Distanz und die Kosinus-Ähnlichkeit, deren Wert zwischen -1 und 1 liegt. Weil ein exakter Vergleich mit Millionen Vektoren zu langsam wäre, nutzen die meisten Systeme Näherungsverfahren (Approximate Nearest Neighbor, ANN). Ein verbreitetes Verfahren ist HNSW, das Malkov und Yashunin 2016 vorgestellt haben. Es baut ein mehrschichtiges Graphennetz auf. Elastic weist darauf hin, dass solche Verfahren nicht zu 100 Prozent exakt sind, dafür aber skalieren. Häufig kombinieren Systeme Vektorsuche mit klassischer Stichwortbewertung (Hybrid Search).

Embeddings: Bedeutung als Nähe im RaumVereinfachte zweidimensionale Skizze. Hund, Welpe und Katze liegen nah beieinander, Steuererklärung und Steuerbescheid weit entfernt in einer eigenen Gruppe. Eine Anfrage „junger Hund“ liegt zwischen Hund und Welpe, ein Kreis markiert ihre nächsten Nachbarn. Echte Embeddings haben oft 256, 512 oder 1024 Dimensionen.Dimension 1Dimension 2große DistanzHundWelpeKatzeSteuererklärungSteuerbescheid„junger Hund“Embedding eines BegriffsAnfrage als Embeddingnächste NachbarnNah beieinander heißtähnliche Bedeutung.Weit entfernt heißtwenig Bezug.Echte Embeddings habenoft 256, 512 oder1024 Dimensionen.Erfundenes Anschauungsbeispiel in 2 Dimensionen, Positionen nicht berechnet.
Erfundenes Anschauungsbeispiel. Im Embedding-Raum stehen nahe Punkte laut Google für enger verwandte Inhalte als weit entfernte. Echte Embeddings haben oft 256, 512 oder 1024 Dimensionen. Quellen: Google Machine Learning Crash Course: Embeddings; Google Machine Learning Crash Course: Embedding-Raum und statische Embeddings.

Was bedeutet das für SEO?

Retrieval-Augmented Generation (RAG) nutzt Vektorsuche, um zu einer Frage passende Textabschnitte zu finden. Inhalte, die in klaren, in sich verständlichen Abschnitten geschrieben sind, lassen sich so besser abrufen (Einschätzung). Für die Google Suche gibt es keine Dokumentation, die Vektorsuche als Rankingverfahren bestätigt.

Retrieval-Augmented Generation: erst suchen, dann antwortenEine Frage löst eine Suche in einem Suchindex oder einer Vektordatenbank aus. Die besten Passagen landen zusammen mit der Frage im Prompt. Das Sprachmodell formuliert daraus die Antwort und verweist auf die Quellen der Passagen. Belegen kann die Antwort nur, was vorher abgerufen wurde.1 FRAGE2 RETRIEVAL3 KONTEXT4 ANTWORTFragevon Nutzeroder AnwendungRetrievalSuche oderVektorsuche findetpassende PassagenWissensquelleSuchindex, Web,VektordatenbankPrompt mit KontextFrage + Top-Passagen[1] Passage · URL A[2] Passage · URL B[3] Passage · URL CLLMAntwortText mitQuellenangaben[1][3]Belege verweisen auf abgerufene PassagenSchematisch, nach Lewis et al. (2020) und Googles Grounding-Doku.
Bei Retrieval-Augmented Generation sucht das System zuerst passende Passagen und gibt sie dem Sprachmodell als Kontext mit. Google nennt die Verbindung von Modellausgabe und überprüfbaren Quellen Grounding. Belegen kann die Antwort nur, was vorher abgerufen wurde (Schlussfolgerung aus dem Verfahren, keine Google-Aussage). Quellen: Lewis et al. (2020): Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv 2005.11401); Google Cloud: Grounding – Überblick (Vertex AI); Google Cloud: Grounding mit der Google Suche (Vertex AI).

Beispiel

Ein Suchindex enthält die Seite „Wollpullover von Hand waschen“. Eine Anfrage „Strickjacke einlaufen verhindern“ enthält keines der Wörter, liegt im Vektorraum aber nahe an dieser Seite. Die Vektorsuche liefert sie, die reine Stichwortsuche nicht.

Häufige Fragen

Was ist der Unterschied zwischen Vektorsuche und Stichwortsuche? Die Stichwortsuche vergleicht Wörter, die Vektorsuche vergleicht Bedeutung über Embeddings.

Ist Vektorsuche dasselbe wie semantische Suche? Vektorsuche ist ein technisches Verfahren, mit dem sich semantische Suche umsetzen lässt. Semantische Suche beschreibt das Ziel, Ergebnisse passend zur Absicht einer Anfrage zu liefern, und kann weitere Verfahren nutzen, etwa einen Knowledge Graph (Einschätzung).

Braucht man dafür eine eigene Vektordatenbank? Nicht immer. Mehrere Suchsysteme bieten Vektorfunktionen im eigenen Index an, Elastic beschreibt das zum Beispiel für Elasticsearch.

Quellen

  1. Was ist Vektorsuche? – IBMibm.com
  2. Was ist Vektorsuche? – Elasticelastic.co
  3. Efficient and robust approximate nearest neighbor search using HNSW graphs – arXiv:1603.09320 (Malkov, Yashunin)arxiv.org
  4. Was ist Vektorsuche? – JoySuite KI-Glossar (Zweitquelle)joysuite.com

Stand: