Social Scoring – wenn Bewertung zur sozialen Kontrolle wird

Nach den Verboten der Manipulation und der Ausnutzung von Schutzbedürftigkeit geht es in diesem Beitrag unserer Blogreihe um das Verbot bestimmter Formen des Social Scoring. 

Der Art. 5 Abs. 1 lit. c KI-VO richtet sich gegen KI-Systeme, die Menschen über einen längeren Zeitraum bewerten und diese Bewertung anschließend entweder in Kontexten gegen sie verwenden, die mit dem Ursprung der Daten nichts zu tun haben, oder an geringfügiges Verhalten unverhältnismäßige Nachteile knüpfen.

Warum ein Score gefährlich werden kann

Bewertungen sind alltäglich. Die Bank prüft Ihre Kreditwürdigkeit, der Arbeitgeber beurteilt Ihre Leistung, in Online-Plattformen werden Sterne an Verkäufer vergeben. Verboten ist das alles nicht automatisch, auch wenn für einzelne dieser Bewertungen strenge eigene Regeln gelten. 

Problematisch wird es, wenn Informationen aus einem Lebensbereich plötzlich in einem völlig anderen Kontext gegen Sie verwendet werden. Beispielsweise wenn das Verhalten in sozialen Medien darüber entscheidet, ob Sie eine Wohnung bekommen oder wenn verspätete Bibliotheksrückgaben Ihre Jobchancen beeinflussen. Kurzum, wenn aus vielen kleinen Datenpunkten am Ende ein umfassendes Urteil über Ihre „soziale Zuverlässigkeit“ entsteht.

Die EU-Kommission beschreibt in ihren Leitlinien zu verbotenen KI-Praktiken, dass Social Scoring häufig zu einer allgemeinen Überwachung von Personen führt, die gegen deren berechtigte Erwartungen verstößt. Menschen rechnen nicht damit, dass ihr Verhalten in einem Bereich Konsequenzen in einem völlig anderen haben kann.

Ein bekanntes Beispiel für staatliches Social Scoring liefert die Volksrepublik China. Dort existiert kein einheitliches Punktesystem, sondern ein Geflecht aus nationalen und kommunalen Programmen, die das Verhalten von Bürgern und Unternehmen anhand von Daten bewerten. Wer auf einer staatlichen Blacklist landet, zum Beispiel als säumiger Schuldner oder wegen Verstößen gegen Verkehrsregeln, dem können Flug- und Bahntickets verweigert oder Kredite blockiert werden. Nach offiziellen chinesischen Angaben wurden allein seit 2018 Millionen von Flugbuchungen auf dieser Basis untersagt. Genau dieses Modell hat der europäische Gesetzgeber vor Augen gehabt, als er Social Scoring in Art. 5 Abs. 1 lit. c KI-VO als verbotene KI-Praktik eingestuft hat.

Was das Verbot erfasst

Art. 5 Abs. 1 lit. c KI-VO verbietet KI-Systeme, die natürliche Personen oder Gruppen über einen bestimmten Zeitraum auf Grundlage ihres Sozialverhaltens oder bekannter, abgeleiteter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale bewerten oder einstufen. Voraussetzung ist, dass dieser Score zu bestimmten nachteiligen Behandlungen führt.

Vereinfacht gesagt geht es um drei Elemente: Zeitraum, Sozialverhalten bzw. persönliche Eigenschaften und Nachteile.

Ein KI-System bewertet Menschen über einen gewissen Zeitraum, die Bewertung basiert auf Sozialverhalten oder persönlichen Eigenschaften und die Bewertung führt zu Nachteilen, die entweder kontextfremd oder unverhältnismäßig sind. 

Bewertung über Zeit statt Momentaufnahme

Das Verbot erfasst nicht jede einzelne Bewertung. Social Scoring bildet typischerweise aus wiederholten Beobachtungen ein Urteil über eine Person.

Was als Bewertungsgrundlage dient

Die Verordnung nennt als Bewertungsgrundlage zwei Kategorien. Einerseits das Sozialverhalten, also wie jemand sich in sozialen Zusammenhängen verhält und andererseits persönliche Eigenschaften oder Persönlichkeitsmerkmale, wobei diese bekannt, abgeleitet oder vorhergesagt sein können. 

Die Leitlinien nennen unter anderem Leistung am Arbeitsplatz, wirtschaftliche Lage, Gesundheitszustand, Vorlieben und Interessen, Zuverlässigkeit sowie Standort und Bewegungsmuster als Beispiele für persönliche Eigenschaften 

Die zwei Wege ins Verbot

Das Verbot greift, wenn der Score zu bestimmten nachteiligen Behandlungen führt. Die Verordnung nennt zwei alternative Wege, die auch kombiniert auftreten können.

Nachteile in kontextfremden Bereichen liegen vor, wenn der Score zu einer Schlechterstellung in sozialen Bereichen führt, die mit dem Grund der ursprünglichen Erhebung nichts zu tun haben. Die Leitfrage ist, ob aus einer situationsgebundenen Information ein dauerhafter Charakter-Score wird, der in anderen Lebensbereichen gegen die Person verwendet wird. 

So würde ein System, das die Betrugswahrscheinlichkeit bei Sozialleistungen auf Merkmale ohne offensichtlichen Zusammenhang stützt, etwa die Staatsangehörigkeit des Ehepartners oder das Verhalten auf sozialen Plattformen, unter das Verbot fallen.

Unverhältnismäßige Nachteile liegen vor, wenn die Schlechterstellung im Verhältnis zum Verhalten nicht gerechtfertigt ist. Die Kommission verknüpft das ausdrücklich mit dem allgemeinen Verhältnismäßigkeitsgrundsatz. Die Schwere der Auswirkungen muss zur Tragweite des Verhaltens passen.

Als Beispiele für geringfügiges Verhalten nennen die Leitlinien verspätete Bibliotheksrückgaben, Müll außerhalb des Abfuhrtages oder verspätete Zahlung lokaler Steuern. Wenn solches Verhalten dazu führt, dass jemand keinen Job bekommt oder aus seiner Wohnung fliegt, ist das unverhältnismäßig.

Der Score muss wirken

Das Verbot setzt voraus, dass der Score tatsächlich zu Nachteilen führt. Die Kommission erläutert in den Leitlinien, dass die KI-Ausgabe eine hinreichend wichtige Rolle für die Behandlung spielen muss. 

Das ist auch deshalb relevant, weil das Verbot bereits das Inverkehrbringen erfasst. Systeme, die dazu bestimmt oder geeignet sind, ein nachteiliges Ergebnis hervorzurufen, können verboten sein, auch wenn sie im konkreten Fall noch keinen Schaden angerichtet haben.

Was nicht verboten ist

Die Kommission betont ausdrücklich, dass viele Bewertungspraktiken nicht unter das Verbot fallen. Entscheidend ist, ob sie einem legitimen Zweck dienen und im Einklang mit geltenden Rechtsvorschriften stehen.

Kreditscoring etwa bewertet Menschen auch über Zeit und auf Grundlage persönlicher Eigenschaften. Es fällt aber typischerweise nicht unter das Verbot, weil es einem konkreten, begrenzten Zweck dient und rechtlich geregelt ist. 

Auch Leistungsbeurteilungen in Schulen oder Kundenbewertungen auf Plattformen bleiben grundsätzlich zulässig, solange sie nicht kontextfremd verwendet werden oder unverhältnismäßige Folgen auslösen.

Bei der Bewertung von Beschäftigten ist dagegen Vorsicht geboten. Dass ein System nicht unter das Social-Scoring-Verbot fällt, heißt keineswegs, dass es eingesetzt werden darf. KI-Systeme, die Leistung und Verhalten von Beschäftigten überwachen oder beurteilen oder die über Aufgabenverteilung, Beförderung und Beendigung mitentscheiden, zählen nach Anhang III Nr. 4 KI-VO zu den Hochrisiko-Systemen. Die damit verbundenen Pflichten greifen nach der Verschiebung durch den Digital Omnibus spätestens ab dem 2. Dezember 2027. Emotionserkennung am Arbeitsplatz ist nach Art. 5 Abs. 1 lit. f KI-VO ohnehin verboten.

Hinzu kommt das nationale Recht. Der Beschäftigtendatenschutz setzt einer fortlaufenden Leistungs- und Verhaltenskontrolle enge Grenzen. Vollautomatisierte Entscheidungen mit erheblicher Wirkung für die betroffene Person sind nach Art. 22 DSGVO nur ausnahmsweise zulässig. Bei technischen Einrichtungen, die zur Überwachung von Leistung oder Verhalten bestimmt sind, hat der Betriebsrat nach § 87 Abs. 1 Nr. 6 BetrVG mitzubestimmen. 

Warum das Verbot beide Seiten schützt

Das Verbot schützt nicht nur vor offensichtlich dystopischen Szenarien wie einem staatlichen Punktesystem nach chinesischem Vorbild. Es erfasst auch subtilere Praktiken, die sich in demokratischen Gesellschaften einschleichen können.

Stellen Sie sich einen Vermieter vor, der potenzielle Mieter von einem KI-System anhand ihres Online-Verhaltens, ihrer Einkaufsgewohnheiten und ihrer sozialen Kontakte bewerten lässt oder eine Bewerbersoftware, die politische Aktivitäten in sozialen Medien einbezieht. 

All das sind Formen von Social Scoring, die in einer offenen Gesellschaft keinen Platz haben sollten.

Ein Verbot mit Augenmaß

Untersagt ist damit weder die Personenbewertung als solche noch der Einsatz von Algorithmen, die Entscheidungen unterstützen. Auch die Nutzung von Daten für legitime Zwecke bleibt möglich.

Verboten ist die Verselbständigung der Bewertung und damit der Punkt, an dem aus Informationen über Ihr Leben ein allgemeines Urteil über Ihren Charakter wird und dieses Urteil in Bereiche hineinwirkt, in denen es nichts zu suchen hat. Erfasst ist ebenso der Fall, dass geringfügiges Verhalten schwerwiegende Konsequenzen nach sich zieht. 

Der Unterschied zu den vorherigen Verboten

Die Verbote nach lit. a und lit. b setzen bei der Beeinflussung von Entscheidungen an. Dort geht es darum, dass KI-Systeme Menschen manipulieren oder deren Schwächen ausnutzen, um sie zu bestimmten Handlungen zu bringen.

Das Verbot des Social Scoring funktioniert anders. Es geht nicht um Beeinflussung, sondern um Bewertung. Weniger entscheidend ist, wozu jemand gebracht werden soll, sondern maßgeblich ist, wie er eingestuft wird. Die Gefahr liegt in der sozialen Kontrolle durch allgegenwärtige Beurteilung. 

Ausblick

Im nächsten Beitrag geht es um Art. 5 Abs. 1 lit. d KI-VO und damit um individuelle Kriminalitätsprognosen. Dort wird das Wort „ausschließlich“ zum entscheidenden Punkt. Wann sind Vorhersagen über künftiges kriminelles Verhalten verboten und wo liegt die Grenze zu zulässiger Ermittlungsunterstützung?