English
Retrieval & Grounding

Chunking

Auch genannt: Passagen, Text-Chunking, semantisches Chunking, Semantic Chunking

Chunking meint im KI- und SEO-Kontext das Zerlegen langer Dokumente in kleinere Abschnitte (Chunks), die ein System einzeln speichert, durchsucht und an ein Sprachmodell weitergibt. Mit der Lernmethode gleichen Namens aus der Psychologie hat das nichts zu tun.

Wie funktioniert Chunking?

KI-Anwendungen mit Retrieval-Augmented Generation (RAG) können ein ganzes Dokument selten auf einmal verarbeiten. Sie teilen es in Chunks, erzeugen für jeden ein Embedding und legen es in einer Vektordatenbank ab. Bei einer Frage ruft das System die passendsten Chunks ab und gibt sie dem Sprachmodell als Grundlage mit.

Laut Berichten aus der Praxis, etwa einem Überblick der SHI GmbH, sind fünf Vorgehen verbreitet:

  • feste Größe (einfach, kann mitten im Satz trennen),
  • tokenbasiert (genau steuerbar, zerreißt eventuell Zusammenhänge),
  • rekursiv (trennt nacheinander an Überschriften, Absätzen, Sätzen),
  • dokumentbasiert (folgt der Struktur, etwa Absätzen),
  • semantisch (trennt nach Bedeutung, rechenintensiver).

Chunk-Größe und Überlappung sind Einstellungen des jeweiligen Systems. Es gibt keine universelle Vorgabe, und Website-Betreiber haben darauf keinen Einfluss.

Retrieval-Augmented Generation: erst suchen, dann antwortenEine Frage löst eine Suche in einem Suchindex oder einer Vektordatenbank aus. Die besten Passagen landen zusammen mit der Frage im Prompt. Das Sprachmodell formuliert daraus die Antwort und verweist auf die Quellen der Passagen. Belegen kann die Antwort nur, was vorher abgerufen wurde.1 FRAGE2 RETRIEVAL3 KONTEXT4 ANTWORTFragevon Nutzeroder AnwendungRetrievalSuche oderVektorsuche findetpassende PassagenWissensquelleSuchindex, Web,VektordatenbankPrompt mit KontextFrage + Top-Passagen[1] Passage · URL A[2] Passage · URL B[3] Passage · URL CLLMAntwortText mitQuellenangaben[1][3]Belege verweisen auf abgerufene PassagenSchematisch, nach Lewis et al. (2020) und Googles Grounding-Doku.
Bei Retrieval-Augmented Generation sucht das System zuerst passende Passagen und gibt sie dem Sprachmodell als Kontext mit. Google nennt die Verbindung von Modellausgabe und überprüfbaren Quellen Grounding. Belegen kann die Antwort nur, was vorher abgerufen wurde (Schlussfolgerung aus dem Verfahren, keine Google-Aussage). Quellen: Lewis et al. (2020): Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv 2005.11401); Google Cloud: Grounding – Überblick (Vertex AI); Google Cloud: Grounding mit der Google Suche (Vertex AI).

Semantisches Chunking

Beim semantischen Chunking richtet sich die Trennung nach Bedeutung und Themenwechsel statt nach einer festen Länge. Ein Chunk endet dort, wo ein neues Thema beginnt. Das Verfahren ist rechenintensiver als eine Trennung nach fester Größe. Wie sich der Unterschied auswirkt, zeigt das Beispiel unten.

Was bedeutet das für SEO?

Google schreibt in der Search-Central-Dokumentation, dass es für AI Overviews und den AI Mode keine zusätzlichen Anforderungen gibt. Eine Seite muss indexiert und für Snippets geeignet sein. Wie einzelne KI-Systeme Seiten zerlegen, legen die Anbieter nicht offen. Plausibel ist, dass klar gegliederte Seiten mit aussagekräftigen Überschriften sich leichter in sinnvolle Abschnitte teilen lassen (Annahme). Belege für einen Rankingeffekt gibt es nicht.

Beispiel

Eine Seite „Versandkosten“ behandelt Inland, EU und Rückversand in einem langen Textblock. Ein System mit fester Chunk-Größe trennt womöglich mitten in der EU-Tabelle. Ein semantischer Ansatz trennt zwischen den drei Themen, sodass die Frage „Was kostet der Versand nach Österreich?“ genau den EU-Abschnitt abruft.

Häufige Fragen

Muss ich Texte für Chunking optimieren? Google verlangt für KI-Funktionen keine besondere Optimierung. Klare Überschriften und in sich verständliche Absätze helfen Lesern in jedem Fall.

Quellen

  1. KI-Funktionen und deine Website – Google Search Centraldevelopers.google.com
  2. Vektordatenbanken für .NET KI-Apps – Microsoft Learnlearn.microsoft.com
  3. Chunking für RAG: effektive Methoden im Überblick – SHI GmbH (Zweitquelle)shi-gmbh.com

Stand: