Fallstricke bei der Entwicklung unternehmenseigener KI-Systeme

Seit dem 2. August 2026 sind die Transparenzpflichten nach Art. 50 KI-VO von Anbietern und Betreibern bestimmter KI-Systeme anzuwenden (wir berichteten). Hierzu zählt auch die Verpflichtung, Inhalte, die mithilfe von KI erzeugt wurden, als solche maschinenlesbar zu kennzeichnen. Diese Pflicht trifft Anbieter von KI-Systemen – also die Stellen, die ein KI-System entwickeln. Sie ist nicht zu verwechseln mit der Pflicht, nach der Betreiber von KI-Systemen Inhalte kennzeichnen müssen, die ansonsten mit echten Inhalten (z. B. Fotos) verwechselt werden können (Deepfakes). 

Vorliegend geht es also um den Erstellungsprozess an sich – und damit um die Anbieter. Dabei kommt es auch nicht darauf an, ob eine Verwechslungsgefahr mit echten Inhalten besteht. Gekennzeichnet werden müssen grundsätzlich alle synthetischen Ausgaben (z. B. durch Wasserzeichen, Metadatenidentifizierungen, kryptografische Methoden). Ausnahmen gibt es nur in sehr engen Grenzen. 

Nutzer bzw. Betreiber sind von dieser Kennzeichnungspflicht nicht umfasst, denn der Anbieter muss die entsprechenden Techniken bereits in das System eingebaut haben. 

Pflichten für Anbieter gemäß Art. 50 KI-VO

In der KI-VO liest sich diese Pflicht in Art. 50 Abs. 2 wie folgt:

„Anbieter von KI-Systemen, einschließlich KI-Systemen mit allgemeinem Verwendungszweck, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, stellen sicher, dass die Ausgaben des KI-Systems in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind. Die Anbieter sorgen dafür, dass — soweit technisch möglich — ihre technischen Lösungen wirksam, interoperabel, belastbar und zuverlässig sind […].“

Der einfache Fall: die großen Anbieter

Wer mithilfe von ChatGPT ein Bild erzeugt, wird dem Bild i. d. R. nicht ansehen können, ob es mithilfe von KI generiert wurde oder nicht. Denn ein für das menschliche Auge sichtbares Wasserzeichen enthalten die Bilder nicht.

Abb. 1: Ein mithilfe von ChatGPT generiertes Bild. 

Fragt man ChatGPT, ob das Bild entsprechend Art. 50 KI-VO maschinenlesbar als KI-erzeugt gekennzeichnet ist, erhält man folgende Antwort des Chatbots:

„Ja. Aktuell von ChatGPT/OpenAI erzeugte, unterstützte Bilder werden maschinenlesbar gekennzeichnet. OpenAI verwendet dafür zwei Ebenen:

• C2PA Content Credentials – maschinenlesbare Metadaten, aus denen hervorgeht, dass das Bild mit OpenAI-Tools erzeugt wurde. 
• SynthID – ein unsichtbares, in den Bildinhalt eingebettetes Wasserzeichen, das ebenfalls maschinell erkannt werden kann.

Du kannst ein von mir erzeugtes Bild übrigens direkt bei OpenAI Verify prüfen; dort werden C2PA und SynthID ausgewertet.“ (Stand: 07.09.2026)

Und tatsächlich findet sich hinter dem Link OpenAI Verify eine Möglichkeit, von OpenAI generierte Inhalte (Bild und Audio) zu verifizieren. 

Abb. 2: Prüfergebnis für die unmittelbar aus ChatGPT heruntergeladene Bilddatei – SynthID und C2PA-Manifest werden erkannt.

Abb. 3: Selbst ein Screenshot, der als neue Datei gespeichert wird, wird noch erkannt – allerdings nur über das SynthID-Wasserzeichen. Das C2PA-Manifest ist dabei verloren gegangen.

Die Pflicht zur Kennzeichnung betrifft aber nicht nur Bild- und Audioinhalte, sondern auch mithilfe von KI erzeugte Video- und Textinhalte. Insbesondere die Kennzeichnung von Textinhalten stellt die Anbieter vor Herausforderungen. Fragt man ChatGPT, ob eine entsprechende Kennzeichnung auch von Text erfolgt, antwortet der Chatbot, dass dies noch nicht erfolge, aber für bereits eingeführte Systeme ohnehin eine Übergangsfrist der KI-VO bis zum 2. Dezember 2026 gelte. So weit, so richtig. Spätestens bis dahin müssen sich die Anbieter der KI-Systeme aber Gedanken zur Umsetzung gemacht haben und Lösungen prüfen. 

Dies scheint auch schon der Fall zu sein. Anthropic teilt auf seinen Hilfeseiten z. B. Folgendes mit: 

„Neue Modelle kennzeichnen KI-generierte Inhalte von Anfang an. Claude-Modelle, die in der EU ab dem 2. August 2026 eingeführt werden, unterstützen maschinenlesbare Kennzeichnung ab dem Start. Generierter Text wird mit eingebetteten Wasserzeichen versehen, und generierte Dateien enthalten digital signierte Herkunftsmetadaten, wo unterstützt.“ (Stand: August 2026)

Jetzt wird es praxisrelevant und komplexer: Was bedeutet das für nachgelagerte Anbieter?

Betroffen von der Transparenzpflicht sind aber nicht nur die großen Anbieter wie OpenAI und Anthropic, sondern auch die sog. nachgelagerten Anbieter (Art. 3 Nr. 68 KI-VO). Das sind z. B. Unternehmen, die KI-Modelle der großen Anbieter über Schnittstellen mit ihrer Software verbinden und so eigene KI-Systeme „entwickeln“. 

Wer also einen Chatbot bauen möchte und hierzu ein User-Interface mit einem KI-Modell der großen Anbieter von KI-Modellen verbindet und das Ergebnis unter eigenem Namen bereitstellt oder – auch nur intern – in Betrieb nimmt, wird zum (nachgelagerten) Anbieter des KI-Systems. Mit allen Anbieterpflichten! Der rein interne Chatbot ist damit nicht privilegiert: Auch die Inbetriebnahme zum Eigengebrauch (Art. 3 Nr. 11 KI-VO) macht das entwickelnde Unternehmen zum Anbieter eines KI-Systems. Das bedeutet, schon die Kombination aus Interface und Fremdmodell kann dazu führen, dass ein Unternehmen die Fragen zur Transparenzpflicht selbst beantworten muss. Doch können nachgelagerte Anbieter diese überhaupt beantworten? Folgende Szenarien sind denkbar:

• Entweder steckt die Funktion zur Umsetzung der Transparenzpflichten bereits im KI-Modell selbst. Dafür müssen die Anbieter des KI-Modells diese Funktionen einbauen und hierüber Auskunft geben. 
• Möglicherweise wird eine solche Funktion auch zwischen dem KI-Modell und der Schnittstelle aufseiten des Anbieters des KI-Modells vorgesehen. 
• Und die dritte, am wenigsten bequeme Möglichkeit: Die Anbieter der KI-Modelle sehen weder im Modell noch an der Schnittstelle entsprechende Funktionen vor. Sie statten ihre Modelle insoweit nicht aus und lassen nachgelagerte Anbieter allein.

Vermutlich werden es sich die Anbieter der großen KI-Modelle nicht erlauben können, nachgelagerte Anbieter allein zu lassen. Eine Pflicht, die entsprechende Funktion ins Modell einzubauen, besteht allerdings nicht. Denn am Ende ist der Anbieter des KI-Systems und nicht der Anbieter des KI-Modells verantwortlich. Eine Aussage werden sie aber zumindest treffen müssen, denn Anbieter von KI-Modellen mit allgemeinem Verwendungszweck müssen nachgelagerten Anbietern nach Art. 53 Abs. 1 lit. b i. V. m. Anhang XII KI-VO die Informationen und Dokumentation bereitstellen, die diese für die Erfüllung ihrer eigenen Pflichten benötigen (also die Information, ob die Funktion vorhanden ist oder nicht). 

Unternehmen, die KI-Systeme nach dem 2. August 2026 in Verkehr gebracht oder in Betrieb genommen haben, müssen daher dokumentieren, wie sie die Transparenzpflichten erfüllen. Sofern der Modellanbieter hier keine Auskunft gibt oder eine Funktion (z. B. für alte Modelle) nicht anbietet, müssen entsprechende Vorkehrungen im eigenen KI-System getroffen werden oder ein Wechsel auf KI-Modelle erfolgen, bei denen die Funktionen dokumentiert sind. 

Noch eine Baustelle

Nachgelagerte Anbieter werden noch an anderer Stelle aufpassen müssen. Denn ab dem 2. Dezember 2026 gelten neue Verbote, die auch für Anbieter von KI-Systemen greifen. Besonders relevant sind sie für Anbieter von KI-Systemen, die Bild-, Video- oder Audioinhalte erzeugen. Konkret geht es um Systeme, mit denen nicht einvernehmliches intimes Bildmaterial realer Personen erzeugt werden kann (NCII – Non-Consensual Intimate Imagery) sowie um Systeme, die Darstellungen sexuellen Kindesmissbrauchs (CSAM – Child Sexual Abuse Material) erzeugen können. Auch hier müssen die Anbieter von KI-Systemen entsprechende Schutzvorkehrungen dokumentieren. Dabei geht es auf der Seite der Anbieter nicht unbedingt darum, ob eine solche Fähigkeit der Zweck des KI-Systems ist. Das KI-System verstößt bereits dann gegen Art. 5 KI-VO, wenn

• „aufgrund der Gestaltung, des Trainings, der Architektur, der Fähigkeiten oder der nutzerseitigen Funktionen des Systems diese Erzeugung oder Manipulation ein nach vernünftigem Ermessen absehbares und reproduzierbares Ergebnis ist ohne dass erhebliche technische Änderungen erforderlich sind,
• und das System nicht über zumutbare und angemessene technische Sicherheitsmaßnahmen und andere Schutzvorkehrungen verfügt, um diese Erzeugung oder Manipulation unter Berücksichtigung einer nach vernünftigem Ermessen absehbaren missbräuchlichen Nutzung zuverlässig zu verhindern und eine beobachtete oder gemeldete missbräuchliche Nutzung zu korrigieren.“

Dies folgt aus Art. 5 Abs. 1 Unterabs. 1 lit. ba und bb i. V. m. Art. 5 Abs. 1a lit. a Ziff. ii KI-VO. 

Anbieter von KI-Systemen, die Bild-, Video- oder Audioinhalte generieren, sollten die entsprechenden Maßnahmen daher dokumentieren. In aller Regel werden sie bereits von den Anbietern der KI-Modelle berücksichtigt sein. Blind darauf verlassen sollte man sich angesichts der Bußgeldrahmen allerdings nicht: Verstöße gegen Art. 5 KI-VO sind mit bis zu 35 Mio. Euro oder 7 % des weltweiten Jahresumsatzes bedroht, Verstöße gegen Art. 50 KI-VO mit bis zu 15 Mio. Euro oder 3 % (Art. 99 Abs. 3 und 4 KI-VO).

Fazit

Je nach KI-Strategie werden Unternehmen schnell selbst zu (nachgelagerten) Anbietern von KI-Systemen, wenn sie KI-Modelle Dritter lokal oder über Schnittstellen einbinden.

Dies führt dazu, dass für sie die Transparenzpflichten und die Verbote gelten, die die KI-VO für Anbieter von KI-Systemen vorsieht.

In diesem Rahmen ist die sorgfältige Auswahl der KI-Modelle von zentraler Bedeutung – und die vertragliche Absicherung der benötigten Auskünfte bzw. Funktionen.

Sofern die entsprechenden Filter oder Transparenzfunktionen nicht Bestandteil des eigentlichen KI-Modells sind oder über die Schnittstelle des Anbieters zum Bestandteil gemacht werden, muss entweder ein anderes KI-Modell gewählt werden oder diese Filter- und Transparenzfunktionen müssen im eigenen System umgesetzt werden.