English
Retrieval & Grounding

Vektordatenbank

Auch genannt: Vector Database, Vector Store

Eine Vektordatenbank speichert und verwaltet Embeddings, also Zahlenvektoren, die die Bedeutung von Texten, Bildern oder Audio abbilden. Sie sucht nach Ähnlichkeit statt nach exakten Übereinstimmungen und liefert die Inhalte zurück, die einer Anfrage inhaltlich am nächsten liegen.

Wie funktioniert eine Vektordatenbank?

Microsoft beschreibt den üblichen Ablauf für RAG-Anwendungen. Ein Embedding-Modell wandelt die Daten in Vektoren um, die Vektoren werden gespeichert und indiziert. Eine Nutzeranfrage wird mit demselben Modell ebenfalls in einen Vektor übersetzt. Die Datenbank misst den Abstand zwischen Anfragevektor und gespeicherten Vektoren, und die nächsten Treffer sind die semantisch ähnlichsten. Gängige Abstandsmaße sind die euklidische Distanz, die Kosinus-Ähnlichkeit und das Skalarprodukt.

Damit die Suche bei Millionen Vektoren schnell bleibt, arbeiten Vektordatenbanken laut AWS mit Indexverfahren wie HNSW und IVF, die nach Näherungsverfahren die nächsten Nachbarn finden. Viele klassische Datenbanken wie PostgreSQL, Azure SQL oder Cosmos DB bieten laut Microsoft inzwischen ebenfalls Vektorsuche an, daneben gibt es spezialisierte Produkte.

Embeddings: Bedeutung als Nähe im RaumVereinfachte zweidimensionale Skizze. Hund, Welpe und Katze liegen nah beieinander, Steuererklärung und Steuerbescheid weit entfernt in einer eigenen Gruppe. Eine Anfrage „junger Hund“ liegt zwischen Hund und Welpe, ein Kreis markiert ihre nächsten Nachbarn. Echte Embeddings haben oft 256, 512 oder 1024 Dimensionen.Dimension 1Dimension 2große DistanzHundWelpeKatzeSteuererklärungSteuerbescheid„junger Hund“Embedding eines BegriffsAnfrage als Embeddingnächste NachbarnNah beieinander heißtähnliche Bedeutung.Weit entfernt heißtwenig Bezug.Echte Embeddings habenoft 256, 512 oder1024 Dimensionen.Erfundenes Anschauungsbeispiel in 2 Dimensionen, Positionen nicht berechnet.
Erfundenes Anschauungsbeispiel. Im Embedding-Raum stehen nahe Punkte laut Google für enger verwandte Inhalte als weit entfernte. Echte Embeddings haben oft 256, 512 oder 1024 Dimensionen. Quellen: Google Machine Learning Crash Course: Embeddings; Google Machine Learning Crash Course: Embedding-Raum und statische Embeddings.

Rolle in RAG und KI-Suche

Vektordatenbanken sind ein zentraler Baustein von Retrieval-Augmented Generation (RAG). Das System zerlegt Dokumente in Abschnitte, erzeugt Embeddings und legt sie in der Datenbank ab. Bei einer Frage ruft es die passendsten Abschnitte ab und gibt sie dem Sprachmodell als Grundlage für die Antwort mit. Für Website-Betreiber ist das ein Hinweis, dass einzelne Abschnitte einer Seite einzeln auffindbar sein können (Einschätzung, siehe Semantic Chunking).

Retrieval-Augmented Generation: erst suchen, dann antwortenEine Frage löst eine Suche in einem Suchindex oder einer Vektordatenbank aus. Die besten Passagen landen zusammen mit der Frage im Prompt. Das Sprachmodell formuliert daraus die Antwort und verweist auf die Quellen der Passagen. Belegen kann die Antwort nur, was vorher abgerufen wurde.1 FRAGE2 RETRIEVAL3 KONTEXT4 ANTWORTFragevon Nutzeroder AnwendungRetrievalSuche oderVektorsuche findetpassende PassagenWissensquelleSuchindex, Web,VektordatenbankPrompt mit KontextFrage + Top-Passagen[1] Passage · URL A[2] Passage · URL B[3] Passage · URL CLLMAntwortText mitQuellenangaben[1][3]Belege verweisen auf abgerufene PassagenSchematisch, nach Lewis et al. (2020) und Googles Grounding-Doku.
Bei Retrieval-Augmented Generation sucht das System zuerst passende Passagen und gibt sie dem Sprachmodell als Kontext mit. Google nennt die Verbindung von Modellausgabe und überprüfbaren Quellen Grounding. Belegen kann die Antwort nur, was vorher abgerufen wurde (Schlussfolgerung aus dem Verfahren, keine Google-Aussage). Quellen: Lewis et al. (2020): Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv 2005.11401); Google Cloud: Grounding – Überblick (Vertex AI); Google Cloud: Grounding mit der Google Suche (Vertex AI).

Beispiel

Ein Hilfecenter mit 5.000 Artikeln wird in Abschnitte geteilt und als Vektoren gespeichert. Die Frage „Wie ändere ich meine Lieferadresse?“ findet auch einen Abschnitt, der „Versandanschrift bearbeiten“ heißt, weil beide Formulierungen ähnliche Vektoren ergeben. Eine reine Stichwortsuche würde den Treffer verfehlen.

Häufige Fragen

Ersetzt eine Vektordatenbank eine klassische Datenbank? Meist ergänzt sie diese. Spezialisierte Produkte laufen laut Microsoft in der Regel zusätzlich zu einer herkömmlichen Datenbank und übernehmen nur die Vektorsuche.

Braucht jede KI-Anwendung eine spezialisierte Vektordatenbank? Microsoft verweist darauf, dass auch bestehende Datenbanken Vektorsuche anbieten. Ob das reicht, hängt von Datenmenge und Anforderungen ab.

Quellen

  1. Vektordatenbanken für .NET KI-Apps – Microsoft Learnlearn.microsoft.com
  2. Was ist eine Vektordatenbank? – AWSaws.amazon.com
  3. Was ist Einbettung? – IBM Thinkibm.com

Stand: