RAG-Architekturen für den Mittelstand: eine Einordnung
Vom Vektor-Store über Hybrid-Suche bis Re-Ranking: ein Überblick zu Retrieval-Augmented Generation jenseits der Demo.
RAG — Retrieval-Augmented Generation — ist die Brücke zwischen einem Sprachmodell und dem Wissen, das im Unternehmen liegt. Über die Antwortqualität entscheidet dabei die Architektur deutlich stärker als das gewählte Modell.
Drei Bausteine gelten als kritisch: eine durchdachte Daten- und Chunk-Strategie, eine Hybrid-Suche aus Vektor- und Stichwortsuche sowie ein Re-Ranking-Schritt, der die wirklich relevanten Treffer nach oben holt.
Wer Compliance ernst nimmt, plant Nachvollziehbarkeit von Anfang an ein: Quellenangaben an jeder Antwort, Protokollierung der Zugriffe und Berechtigungen, die der bestehenden Rechtestruktur folgen. Fehlt das, entsteht ein Assistent, den die Fachabteilung aus guten Gründen nicht nutzen darf.
Für mittelständische Unternehmen heißt das meist: klein anfangen, mit einem klar abgegrenzten Wissensbestand, und die Qualität messbar machen, bevor weitere Quellen angebunden werden.