Im vorherigen Beitrag dieser Blogreihe zu den verbotenen KI-Praktiken ging es um unterschwellige, manipulative und täuschende Techniken nach Art. 5 Abs. 1 lit. a KI-VO. Solche Techniken können grundsätzlich jeden Menschen treffen. Dieser Beitrag setzt an einer anderen Stelle an. Nicht die Technik ist der Ausgangspunkt, sondern die Zielgruppe. Art. 5 Abs. 1 lit. b KI-VO schützt Menschen, die aufgrund bestimmter Lebensumstände besonders anfällig für Ausnutzung oder Manipulation sind.
Art. 5 Abs. 1 lit. b KI-VO ist durch das Änderungspaket des „Digital Omnibus“ inhaltlich unberührt geblieben und gilt seit dem 2. Februar 2025 unverändert. Erweitert wurde allerdings der Verbotskatalog des Art. 5 KI-VO. Direkt hinter dem Buchstaben b stehen nun zwei neue Verbote zu sexualisierten Deepfakes und zu Material über sexuellen Kindesmissbrauch, auf die wir am Ende dieses Beitrags eingehen werden (siehe konsolidierte Fassung der KI-VO).
Drei Schutzkategorien
Manche Menschen können sich aus bestimmten Gründen schlechter gegen Beeinflussung und Manipulation wehren, etwa wegen ihres Alters, einer Behinderung oder einer besonderensozialen oder wirtschaftlichen Lage. Art. 5 Abs. 1 lit. b KI-VO will verhindern, dass KI-Systeme genau das gezielt ausnutzen.
Kinder können Werbung oft nicht von Inhalten unterscheiden, verstehen Manipulationstechniken nicht und sind anfälliger für suchterzeugende Mechanismen.
Bei älteren Menschen kann die Vulnerabilität aus nachlassenden kognitiven Fähigkeiten, geringerer Vertrautheit mit digitalen Technologien oder sozialer Isolation resultieren.
Menschen mit Behinderungen sind anfälliger dafür, dass KI-Systeme ihre kognitiven oder anderen Einschränkungen gezielt zur schädlichen Einflussnahme, Manipulation oder Ausbeutung ausnutzen.
Besondere soziale oder wirtschaftliche Situationen betreffen etwa Menschen in finanzieller Not, Obdachlose, Arbeitslose oder Personen in Abhängigkeitsverhältnissen. Die Kommission weist in den Leitlinien darauf hin, dass Menschen in einer solchen Lage in der Regel über weniger Ressourcen und geringere digitale Kompetenzen verfügen und deshalb ausbeuterische KI-Praktiken schwerer erkennen oder abwehren können.
Was nicht unter diese Kategorie fällt, stellt die Kommission ebenfalls klar. Vorübergehende emotionale Zustände wie Kummer oder Einsamkeit begründen für sich genommen keine Vulnerabilität im Sinne von lit. b.
Ansprache ist nicht gleich Ausnutzung
Nicht jede Interaktion mit vulnerablen Gruppen ist verboten. Eine Lern-App, die sich altersgerecht an Kinder wendet, nutzt deren Alter nicht aus, sondern berücksichtigt es. Ähnlich verhält es sich mit einem Sprachassistenten, der eine Sehbehinderung ausgleicht. Auch ein Finanzberatungstool für Menschen mit geringem Einkommen kann sinnvoll sein, solange es die Notlage seiner Nutzer nicht dazu verwendet, sie in nachteilige Verträge zu drängen.
Ausnutzung liegt dabei vielmehr vor, wenn das KI-System die besondere Anfälligkeit gezielt nutzt, um Verhaltensweisen hervorzurufen, die dem Betroffenen schaden. Das kann durch die Art der Ansprache geschehen, durch das Timing, durch die Ausgestaltung von Anreizen oder durch das Verschleiern von Risiken.
Wie Schaden bei vulnerablen Gruppen aussehen kann
Die Kommission beschreibt in den Leitlinien, welche Schäden bei den verschiedenen Gruppen typischerweise drohen.
Bei Kindern können suchtähnliche Nutzungsmuster zu Bewegungs- und Schlafmangel, Konzentrationsproblemen, schlechteren schulischen Leistungen und sozialen Schwierigkeiten führen. Die Leitlinien betonen auch langfristige Effekte bis ins Erwachsenenalter. Besonders gravierend sind Fälle, in denen KI zur Entwicklung von Grooming-Strategien oder zur Generierung von Material über sexuellen Kindesmissbrauch eingesetzt wird. Solche Fälle erfasst ab Dezember 2026 zusätzlich der neue Buchstabe bb, dazu am Ende dieses Beitrags.
Bei Menschen mit Behinderungen nennen die Leitlinien beispielhaft einen therapeutischen Chatbot, der Menschen mit psychischen Behinderungen eigentlich Unterstützung und Bewältigungsstrategien bieten soll. Zum Verbotstatbestand wird er, wenn er deren eingeschränkte intellektuelle Fähigkeiten ausnutzt, um sie zum Kauf teurer medizinischer Produkte zu bewegen oder zu schädlichem Verhalten zu verleiten. Ein weiteres Beispiel betrifft Systeme, die Frauen und Mädchen mit Behinderungen mit sexuell missbräuchlichen Inhalten konfrontieren und Grooming-Praktiken einsetzen, die genau auf diese Zielgruppe zugeschnitten sind.
Bei Menschen in wirtschaftlicher Not können ausbeuterische Praktiken eine Abwärtsspirale auslösen. Die Kommission beschreibt Ketten, die von gezielter Ansprache über Verschuldung bis hin zu Angstzuständen, Depressionen, sozialer Isolation oder Selbstverletzung reichen können.
Was ausdrücklich erlaubt bleibt
Die Kommission betont, dass das Verbot nur greift, wenn sämtliche Voraussetzungen erfüllt sind. KI-gestützte Spielzeuge, Spiele und Lernprogramme für Kinder sind deshalb im Allgemeinen nicht betroffen, ebenso wenig persönliche Assistenten, Gesundheitsanwendungen und Assistenzroboter für ältere Menschen. Auch Bankdienstleistungen wie Hypotheken und Darlehen, die das Alter oder die wirtschaftliche Situation als Eingangsgröße nutzen, bleiben erlaubt, wenn sie schutzbedürftigen Gruppen zugutekommen. Gleiches gilt für Systeme, die Müdigkeit am Steuer erkennen, und für Software, die im Internet gezielt nach Missbrauchsmaterial von Kindern sucht.
Entscheidend bleibt die Grenzziehung zwischen Unterstützung und Ausnutzung. Eine Lern-App, die spielerische Elemente verwendet, ist etwas anderes als eine App, die Suchtmechanismen einsetzt, um Kinder möglichst lange am Bildschirm zu halten.
Neue Nachbarn des Buchstaben b ab Dezember 2026
Der Digital Omnibus hat den Verbotskatalog des Art. 5 KI-VO erweitert. Unmittelbar hinter dem hier besprochenen Buchstaben b sind durch die Änderungsverordnung (EU) 2026/1744 zwei neue Verbote eingefügt worden. Sie gelten ab dem 2. Dezember 2026.
Der neue Buchstabe ba verbietet KI-Systeme, die realistische Bild-, Video-, Ton- oder ähnliche Inhalte erzeugen oder manipulieren. Dargestellt werden dabei intime Körperteile einer bestimmbaren natürlichen Person oder eine bestimmbare Person, die an eindeutig sexuellen Handlungen beteiligt ist. Zulässig ist das nur, wenn die betreffende Person eine aus freien Stücken erfolgende, spezifische, aufgeklärte, eindeutige und ausdrückliche Zustimmung erteilt hat. Fehlt diese Zustimmung, greift das Verbot. Es richtet sich dabei nicht nur gegen Anbieter, die solche Systeme entwickeln und auf den Markt bringen, sondern erfasst ausdrücklich auch das bloße Verwenden. Wer ein entsprechendes System betreibt oder einsetzt, ohne dass die betroffene Person eingewilligt hat, ist damit ebenso von dem Verbot erfasst wie derjenige, der es in Verkehr gebracht hat.
Der neue Buchstabe bb verbietet KI-Systeme, die Ausgaben im Sinne von Art. 2 Buchst. c und e der Richtlinie 2011/93/EU (Richtlinie zur Bekämpfung des sexuellen Missbrauchs und der sexuellen Ausbeutung von Kindern sowie der Kinderpornografie) erzeugen oder manipulieren, also Material über sexuellen Kindesmissbrauch. Eine Ausnahme kommt dabei nur in Betracht, wenn das betreffende Verhalten nach nationalem Recht als gerechtfertigt gilt. In der Praxis wird das vor allem gesetzlich erlaubte Handlungen zu Zwecken der Strafverfolgung betreffen, etwa das Erstellen synthetischer Missbrauchsdarstellungen im Rahmen bestimmter Sicherheitstests oder zur Entwicklung von Erkennungssoftware. Der Ausnahmetatbestand muss eng verstanden werden und die bloße Berufung auf nationale Rechtsvorschriften genügt nicht.
Für die Praxis ist der Unterschied zum Buchstaben b erheblich. Ein Teil der Fälle, die bisher über die Ausnutzung von Schutzbedürftigkeit begründet werden mussten, hat künftig einen eigenen Verbotstatbestand. Auf eine wesentliche Verhaltensbeeinflussung und einen erheblichen Schaden kommt es dort nicht mehr an, weil schon das Erzeugen oder Manipulieren solcher Inhalte untersagt ist.
Fazit
Art. 5 Abs. 1 lit. b KI-VO trägt dem Umstand Rechnung, dass Menschen unterschiedlich gut in der Lage sind, sich gegen Beeinflussung zu behaupten. Ob ein KI-System unter das Verbot fällt, hängt deshalb nicht von der verwendeten Technik ab, sondern davon, ob es die besondere Anfälligkeit bestimmter Menschen ausnutzt und ihnen damit schadet.
Im nächsten Beitrag dieser Reihe werden wir uns dem Verbot bestimmter Formen des Social Scorings gem. Art. 5 Abs. 1 lit. c KI-VO widmen. Dort geht es um die Frage, wann die Bewertung von Menschen anhand ihres Verhaltens unzulässig wird und welche Rolle dabei der Kontextwechsel spielt.
Keine Kommentare