RAG-Architekturen für den Mittelstand: eine Einordnung
Vom Vektor-Store über Hybrid-Suche bis Re-Ranking: ein Überblick zu Retrieval-Augmented Generation jenseits der Demo.
RAG, ausgeschrieben Retrieval-Augmented Generation, ist die Brücke zwischen einem Sprachmodell und dem Wissen, das im Unternehmen liegt: Angebote, Verträge, Handbücher, Serviceberichte, E-Mails. Das Modell selbst kennt dieses Wissen nicht. Ein RAG-System sucht zu jeder Frage die passenden Textstellen heraus und gibt sie dem Modell als Kontext mit. Die Antwort entsteht also aus den eigenen Dokumenten, nicht aus dem Trainingswissen des Modells.
Das klingt einfach, und in der Demo ist es das auch. Zehn PDF-Dateien hochladen, eine Frage stellen, eine plausible Antwort erhalten. Der Unterschied zwischen dieser Demo und einem System, das eine Fachabteilung täglich nutzt, liegt in der Architektur. Über die Antwortqualität entscheidet sie deutlich stärker als das gewählte Sprachmodell.
Der erste kritische Baustein ist die Daten- und Chunk-Strategie. Dokumente müssen in Abschnitte zerlegt werden, die für sich verständlich sind. Ein Vertrag, der an Absatzgrenzen geteilt wird, liefert bessere Treffer als einer, der alle 500 Zeichen zerschnitten wird. Tabellen, Kopfzeilen und Metadaten wie Kunde, Datum und Dokumenttyp müssen erhalten bleiben, sonst weiß das System später nicht, ob ein Preis aus dem aktuellen oder aus einem drei Jahre alten Angebot stammt.
Der zweite Baustein ist die Hybrid-Suche. Reine Vektorsuche findet Bedeutungsähnlichkeit, scheitert aber häufig an exakten Begriffen: Artikelnummern, Vertragsnummern, Produktbezeichnungen. Eine klassische Stichwortsuche findet genau diese, versteht aber keine Umschreibungen. Die Kombination aus beidem, meist mit einer gewichteten Zusammenführung der Trefferlisten, ist im Unternehmenskontext der Standard, der in der Praxis trägt.
Der dritte Baustein ist das Re-Ranking. Die Suche liefert vielleicht dreißig Kandidaten, das Modell sollte aber nur die fünf relevantesten sehen. Ein Re-Ranking-Schritt bewertet jeden Kandidaten noch einmal im Verhältnis zur konkreten Frage und sortiert um. Dieser Schritt kostet wenige hundert Millisekunden und hebt die Antwortqualität in den meisten Aufbauten spürbar an. Er wird in Demos fast immer weggelassen.
Wer Compliance ernst nimmt, plant Nachvollziehbarkeit von Anfang an ein. Jede Antwort braucht Quellenangaben mit Dokument und Abschnitt, damit ein Mitarbeiter prüfen kann, worauf sie beruht. Zugriffe werden protokolliert. Und die Berechtigungen folgen der bestehenden Rechtestruktur: Wer ein Dokument im Dateisystem nicht öffnen darf, darf es auch nicht über den Assistenten abfragen. Fehlt dieser Punkt, entsteht ein System, das die Fachabteilung aus guten Gründen nicht nutzen darf, und das Projekt endet in der Pilotphase.
Zur Frage des Betriebsorts: Für viele mittelständische Unternehmen ist ein Betrieb in einem EU-Rechenzentrum ausreichend, für einige, etwa mit Kundendaten aus dem Gesundheits- oder Verteidigungsbereich, kommt nur der Betrieb im eigenen Haus infrage. Beides ist heute mit offenen Modellen und Standardkomponenten technisch machbar. Der Betrieb im eigenen Haus erfordert allerdings Hardware, Wartung und jemanden, der sich zuständig fühlt. Diese Entscheidung sollte vor dem Projektstart fallen, nicht währenddessen.
Wie misst man, ob ein RAG-System gut ist? Nicht am Eindruck aus drei Testfragen. Sinnvoll ist ein Fragenkatalog von 50 bis 100 realen Fragen aus der Fachabteilung mit den erwarteten Antworten und Quellen. Gegen diesen Katalog wird jede Änderung an der Architektur geprüft. So lässt sich sagen, ob eine neue Chunk-Strategie oder ein anderes Modell die Qualität wirklich verbessert hat, statt es zu vermuten.
Für mittelständische Unternehmen heißt das meist: klein anfangen, mit einem klar abgegrenzten Wissensbestand, etwa den Serviceberichten eines Produktbereichs oder den Verträgen einer Abteilung. Die Qualität messbar machen. Berechtigungen und Quellenangaben von Anfang an einbauen. Und erst dann weitere Quellen anbinden, wenn der erste Bestand zuverlässig beantwortet wird. Ein RAG-System wächst mit dem Vertrauen der Nutzer, und dieses Vertrauen entsteht durch nachprüfbare Antworten, nicht durch Umfang.