Chatbot trifft RAG-System: Mehr Datenschutz durch gezieltes Nachschlagen

Immer mehr Stellen nutzen KI zur Kommunikation. Der KI-Chatbot ist längst Teil unseres Alltags. Er beantwortet Fragen von Beschäftigten, unterstützt den Kundenservice oder hilft beim Durchsuchen umfangreicher Wissensdatenbanken. Was dabei hinter den Kulissen passiert, bleibt für die meisten Nutzerinnen und Nutzer unsichtbar. Genau hier lohnt sich ein genauerer Blick aus datenschutzrechtlicher Perspektive, denn ein KI-Sprachmodell hat ein grundlegendes Problem. Es kennt nur das, womit es trainiert wurde. Die aktuelle Reisekostenrichtlinie, die neue Betriebsvereinbarung oder das interne Produkthandbuch gehören nicht dazu. Damit ein Chatbot trotzdem verlässlich Auskunft über solches internes Wissen geben kann, braucht er eine Möglichkeit, gezielt nachzuschlagen. Hier kommt eine Technik ins Spiel, die hinter vielen Unternehmens-Chatbots steckt: RAG.

Was ist RAG überhaupt?

Hinter dem Kürzel RAG steht Retrieval Augmented Generation, frei übersetzt „durch Nachschlagen ergänzte Texterzeugung“. Die DSK beschreibt die Methode in ihrer Orientierungshilfe (DSK, OH RAG, Version 1.0, Oktober 2025) wie folgt:

„Bei der RAG-Methode wird – vereinfacht gesagt – ein LLM mit einer Datenbasis kombiniert, um Informationen, die (nur) dem Verantwortlichen zur Verfügung stehen und nicht Teil der Trainingsdaten des LLMs waren, über ein KI-System zugänglich und nutzbar zu machen.“

RAG ist dabei kein Chatbot, sondern ein technisches Zwischenglied zwischen der Chatbot-Plattform und dem eigentlichen Sprachmodell (LLM). Der Ablauf sieht vereinfacht so aus: Der Chatbot nimmt die Frage des Nutzers entgegen und gibt sie an RAG weiter. RAG durchsucht die Wissensbasis, ergänzt die Frage um die passenden Informationen und übergibt beides an das Sprachmodell. Das Sprachmodell formuliert die Antwort, die über den Chatbot beim Nutzer ankommt. Zu RAG gehört dabei allerdings nicht nur die Software, die diese Schritte steuert.  Dazu zählen auch die angebundenen Datenquellen selbst, etwa Dokumentensammlungen und Datenbanken, sowie deren Aufbereitung für die Suche. Hinzu kommt der sog. Retriever, also die Suchfunktion, die zu jeder Frage die passenden Textabschnitte heraussucht. Der BayLfD fasst all diese Bestandteile unter dem Begriff RAG-Subsystem zusammen. Gemeinsam mit dem Sprachmodell bildet es das RAG-System (so BayLfD AI IN A NUTSHELL 4, Stand: 1. Juni 2026). Bei neueren Systemen können zudem Anwendungen wie Kalender- oder Ticketsysteme über Schnittstellen angebunden und je Anfrage direkt abgefragt werden.

Beispiel aus der Praxis: Eine Mitarbeiterin fragt den internen HR-Chatbot: „Wie viele Tage Sonderurlaub bekomme ich für meinen Umzug?“ RAG sucht in der hinterlegten Betriebsvereinbarung und im HR-Handbuch die passenden Absätze heraus, hängt sie an die Frage an und übergibt beides an das Sprachmodell. Dieses formuliert daraus eine verständliche Antwort – im besten Fall mit Verweis auf die Fundstelle, sodass die Mitarbeiterin selbst nachlesen kann.

Wie funktioniert RAG technisch – und warum ist das für den Datenschutz relevant?

Der RAG-Prozess gliedert sich in mehrere Schritte, die datenschutzrechtlich jeweils eigene Fragen aufwerfen.

1. Vorbereitung: Die Wissensbasis anlegen

Bevor ein RAG-System überhaupt eine Frage beantworten kann, muss die Wissensbasis aufbereitet werden. Dazu werden die Referenzdokumente (z.B. Unternehmensrichtlinien, Handbücher, Wissensartikel, etc.) in kurze Textabschnitte zerlegt (sog. Chunks), per Embedding-Modell in Vektoren übersetzt und in der Vektordatenbank gespeichert. 

Datenschutzrechtlich wichtig: Enthalten die Referenzdokumente personenbezogene Daten, gilt die DSGVO bereits für diesen Vorbereitungsschritt. Das heißt, bereits für das Anlegen der Wissensbasis bedarf es einer Rechtsgrundlage nach DSGVO, bevor die personenbezogenen Daten in die Vektordatenbank einfließen.

2. Retrieval: Das Nachschlagen

Die Anfrage des Nutzers (der sog. Prompt) wird zunächst mit demselben Embedding-Modell in einen Vektor umgewandelt. Mit diesem Vektor durchsucht RAG – nicht das Sprachmodell selbst – die Vektordatenbank (siehe als Beispiel). Das Sprachmodell, das am Ende die Antwort formuliert, hat keinen direkten Zugriff auf die Vektordatenbank.  RAG übernimmt die Suche und extrahiert die relevantesten Textabschnitte. Häufig werden die Treffer vorher noch durch ein sog. Reranking nach Relevanz neu sortiert, dafür kommt in der Regel ein eigenes KI-Modell zum Einsatz.

Exkurs – Agentic RAG: Neuere Systeme setzen auf sog. Agentic RAG. Hier folgt die Suche keinem starren Ablauf mehr, sondern ein KI-Agent entscheidet je Anfrage selbst, ob und in welcher Quelle gesucht wird, ob er die Frage für die Suche umformuliert und ob das Ergebnis ausreicht. Das macht den Chatbot deutlich leistungsfähiger, erhöht aber auch die datenschutzrechtlichen Anforderungen.

3. Augmentation: Das Anreichern

Die von RAG gefundenen Textpassagen werden zusammen mit dem ursprünglichen Prompt für das Sprachmodell aufbereitet. Das Sprachmodell „sieht“ also in der Regel nur die Frage des Nutzers (ggf. mit dem bisherigen Gesprächsverlauf), die von RAG ausgewählten Textstellen und die technischen Anweisungen des Betreibers (sog. Systemprompt), aber nicht die übrige Wissensdatenbank.

4. Generation: Das Antworten

Auf Basis dieser Informationen formuliert das Sprachmodell eine Antwort. Die Antwort wird über RAG an die Chatbot-Plattform zurückgegeben, die sie dem richtigen Nutzer zuordnet und ausgibt.

An jedem dieser Schritte können personenbezogene Daten im Spiel sein – sowohl in der Anfrage des Nutzers als auch in den Inhalten der Wissensdatenbank und damit am Ende auch in der generierten Antwort.

Warum ist RAG aus Datenschutzsicht eigentlich eine gute Sache?

Richtig ausgestaltet kann ein RAG-System einen echten Beitrag zum Datenschutz leisten. Die Datenschutzkonferenz (DSK) hält es sogar für möglich, dass RAG je nach Gestaltung als eine von mehreren risikomindernden Maßnahmen im Sinne der Stellungnahme 28/2024 des Europäischen Datenschutzausschusses (EDSA) zu KI-Modellen angesehen werden kann. 

Folgendes ist mit Einbindung eines RAG-Systems möglich: 

Das Sprachmodell des Drittanbieters erfährt möglichst wenig über den Nutzer

Ein wesentlicher datenschutzrechtlicher Vorteil von RAG liegt darin, dass das Sprachmodell (LLM) die personenbezogenen Daten der Nutzenden gar nicht erst in dem Umfang erhält, wie es ohne RAG der Fall wäre – eine entsprechende Konfiguration vorausgesetzt. Der Chatbot übergibt den Prompt via RAG an das Sprachmodell, das Sprachmodell erhält dabei im Idealfall weder den Usernamen noch eine Nutzer-ID oder sonstige Identifikationsmerkmale. Die Zuordnung der Antwort zum richtigen Nutzer verbleibt ausschließlich bei der Chatbotplattform, die als einzige Komponente das Zuordnungsmerkmal kennt. Das Sprachmodell am Ende der Kette erfährt so denkbar wenig über die Person, die die Frage gestellt hat. Voraussetzung ist allerdings, dass auch RAG selbst keine Nutzerkennungen weitergibt oder dauerhaft speichert, etwa in Protokolldateien.

Aber Vorsicht: Das gilt nur für die systemseitigen Kennungen. Was der Nutzer selbst in das Chatfenster tippt, landet sehr wohl beim Sprachmodell. Schreibt jemand „Ich bin Max Mustermann aus dem Vertrieb Nord und möchte meine Elternzeit verlängern“, verarbeitet das Sprachmodell diese Angaben. Ähnliches gilt, wenn – etwa für eine bessere Suche – Zusatzinformationen über den Nutzer mitgegeben werden (sog. Metadaten aus Personalsystemen bei Nutzung eines „HR-Chatbots“). 

Kleinere Modelle, eigener Betrieb – ein Plus für die digitale Souveränität

Da RAG das Fachwissen aus der eigenen Wissensdatenbank sucht und extrahiert, muss das Sprachmodell selbst nicht „alles wissen“. Es wird im Kern nur noch für das Formulieren der Antwort gebraucht. Damit kommen auch kleinere Sprachmodelle in Betracht, die mit weniger Trainingsdaten auskommen und sich on-premise, also auf eigenen Servern oder bei einem vertrauenswürdigen Hoster, betreiben lassen.

Die DSK betont, dass sich ein RAG-System auf diese Weise sogar ohne Übermittlung personenbezogener Daten an Dritte wie große Cloud-Anbieter betreiben lässt, und sieht darin einen wichtigen Beitrag zur digitalen Souveränität und eine Umsetzung von Datenschutz durch Technikgestaltung (Privacy by Design). Verantwortliche können so die Kontrolle über die Verarbeitung im KI-Gesamtsystem behalten und z.B. besser verhindern, dass personenbezogene Daten aus dem System abgegriffen oder zum Training und zur Weiterentwicklung des Modells genutzt werden. Wer RAG dagegen mit einem großen, in der Cloud betriebenen Sprachmodell kombiniert, verschenkt diesen Vorteil zum Teil und muss sich entsprechend intensiver mit Auftragsverarbeitung und ggf. Drittlandübermittlungen befassen.

Kontrolle über die Wissensbasis

Anders als bei einem allgemeinen Sprachmodell, das auf einer riesigen, unkontrollierten Datenmenge trainiert wurde, liegt die Kontrolle über die Wissensbasis bei RAG vollständig beim Verantwortlichen. Das Unternehmen entscheidet eigenverantwortlich, welche Dokumente und Informationen in die Vektordatenbanken fließen und damit auch, welches Wissen dem Sprachmodell überhaupt zugänglich gemacht wird. Das Sprachmodell selbst greift nicht auf die Vektordatenbank zu. Es erhält ausschließlich die von RAG aufbereiteten und gefilterten Ergebnisse. Bei neueren Systemen können zudem Anwendungen wie Kalender- oder Ticketsysteme über Schnittstellen angebunden und je Anfrage direkt abgefragt werden.

Ein weiterer Pluspunkt ist, dass sich im RAG-Subsystem bewährte Schutzmechanismen umsetzen lassen, die im Sprachmodell selbst nicht möglich sind wie insbesondere ein Rechte- und Rollenkonzept. Im Sprachmodell lässt sich nicht steuern, welcher Nutzer welche gelernten Informationen abrufen darf. In der Vektordatenbank dagegen schon. Ein gut gebautes RAG-System koppelt die Suche deshalb an die Berechtigungen des Fragenden. Gleiches gilt, wenn über Agentic RAG Anwendungen wie beispielsweise Kalender oder Ticketsysteme angebunden werden.  Über den Chatbot darf niemand auf mehr Daten zugreifen als in der Anwendung selbst (also etwa nicht auf die Kalender von Kolleginnen und Kollegen). 

Der Grundsatz der Datenminimierung muss bereits bei der Auswahl der Dokumente, welche in die Vektordatenbank gelangen sollen, zwingend eingehalten werden. 

Praxishinweis: Personenbezogene Daten – wie etwa Namen von Autoren in Wissensartikeln oder E-Mail-Adressen – sollten nur dann in Vektordatenbanken aufgenommen werden, wenn sie für den konkreten Anwendungsfall tatsächlich benötigt werden. Nicht erforderliche personenbezogene Daten sind nach Auffassung der DSK bereits bei der Aufbereitung zu entfernen oder zu anonymisieren.

Worauf kommt es datenschutzrechtlich bei Nutzung eines Chatbots mit RAG-System an?

Rechtsgrundlage

Bei Nutzung eines Chatbots, auch mit RAG-System, werden personenbezogene Daten verarbeitet, sodass es einer Rechtsgrundlage bedarf. Die Rechtsgrundlage für den Einsatz eines RAG-basierten Chatbots richtet sich stets nach dem konkreten Anwendungsfall des Chatbots und ist daher im Einzelfall vorab zu prüfen.

Wichtig und häufig übersehen: Eine Rechtsgrundlage braucht es nicht nur für die Verarbeitung der Nutzeranfragen, sondern auch für die Wissensbasis selbst, wenn darin personenbezogene Daten enthalten sind. 

Werden darüber hinaus Anwendungen via Schnittstelle an RAG angebunden, gilt zudem ein strenger Zweckbindungsgrundsatz. Der Chatbot darf mit den Informationen aus den angebundenen Anwendungen auch nur das tun, was vom ursprünglichen Zweck der Datenverarbeitung innerhalb der Anwendung bereits zulässig war. Eine darüberhinausgehende Verarbeitung stellt eine Zweckänderung dar, deren Vereinbarkeit nach Art. 6 Abs. 4 DSGVO zu prüfen ist.

Auftragsverarbeitung

In der Praxis sind an einem RAG-System typischerweise mehrere externe Dienstleister beteiligt, sodass die datenschutzrechtlichen Verantwortlichkeiten vorab zu prüfen sind. Grundsätzlich sind am Prozess der Anbieter für das eigentliche Sprachmodell (große LLM wie z.B. Google Gemini), ein Dienst für das sog. Reranking – also die Neusortierung der Suchergebnisse nach Relevanz, sowie ggf. ein Cloud-Anbieter für das Hosting der RAG-Software und der Vektordatenbanken beteiligt. Mit jedem dieser Dienstleister, der im Rahmen des Prozesses Zugriff auf personenbezogene Daten erhält, sind die datenschutzrechtlichen Verantwortlichkeiten zu prüfen. In der Regel sind mit diesen Auftragsverarbeitungsverträge gem. Art. 28 Abs. 3 DSGVO abzuschließen. 

Datenschutzgrundsätze 

Neben der Rechtsgrundlage sind für den Einsatz eines RAG-basierten Chatbots auch die Datenschutzgrundsätze zwingend einzuhalten. 

Die Betroffenen sind über die Datenverarbeitung im Rahmen eines Chatbots mittels RAG gem. Art. 13f. DSGVO zu informieren. Dabei gibt es zwei Gruppen von Betroffenen: Die Nutzer des Chatbots und die Personen, deren Daten in der Wissensbasis stecken (z.B. Autoren oder in Dokumenten genannte Ansprechpartner). Auch an Letztere ist zu denken. 

RAG-Systeme können personenbezogene Daten an mehreren Stellen verarbeiten wie insbesondere in der Vektordatenbank und ggf. in Tracing- oder Logging-Systemen zur technischen Überwachung des RAG. Für jede dieser Komponenten sollte ein klares Löschkonzept vorliegen. 

Datenschutz-Folgenabschätzung

Ob vor dem Einsatz eines RAG-Chatbots eine Datenschutz-Folgenabschätzung (DSFA) nach Art. 35 DSGVO durchzuführen ist, sollte für jeden Chatbot gesondert bewertet werden. 

Fazit

RAG ermöglicht es als technisches Zwischenglied, KI (besonders große Sprachmodelle) gezielter, kontrollierbarer und damit auch datenschutzfreundlicher einzusetzen. In der Regel liegen die Wissensdatenbanken in der Hand des Verantwortlichen, das Sprachmodell erhält bei richtiger Konfiguration keine Nutzerkennungen und hat auch keinen allumfänglichen Zugriff auf die Unternehmensdaten. Die datenschutzrechtliche Zulässigkeit hängt allerdings von der konkreten Ausgestaltung ab: Wer welche Daten in die Vektordatenbanken lädt, ob das Rechte- und Rollenkonzept auch im Chatbot greift, welches Sprachmodell eingesetzt wird, welche Dienstleister und KI-Systeme in welchem Umfang eingebunden sind, wie lange Daten gespeichert werden und ob die Nutzer ordnungsgemäß informiert werden. All das bleibt Aufgabe des Verantwortlichen. 

Gut konzipiert ist RAG ein Beispiel dafür, dass Datenschutz und KI-Einsatz kein Widerspruch sein müssen.