Im vorherigen Beitrag unserer Reihe zu den verbotenen KI-Praktiken (hier lesen Sie Teil 1 zu den Verboten der Manipulation, hier Teil 2 zur Ausnutzung von Schutzbedürftigkeit) ging es um das Social Scoring. In unserem neuen Beitrag möchten wir uns einem Thema widmen, bei dem KI besonders leicht als objektive Entscheidungshilfe missverstanden wird, nämlich der Vorhersage, ob ein Mensch eine Straftat begehen wird.
Die eine oder der andere wird sich an den Blockbuster Minority Report mit Tom Cruise erinnern, in dem Vorhersagen zu zukünftigen Morden getroffen werden. Heutzutage stammen solche Vorhersagen zwar nicht aus den Visionen sogenannter Precogs, gewisse Parallelen sind aber nicht von der Hand zu weisen.
Wenn es um die Vorhersage von Straftaten geht, zieht Art. 5 Abs. 1 lit. d der KI-Verordnung (Verordnung (EU) 2024/1689), im Gegensatz zum Film, eine deutliche Grenze. Niemand soll als potenzieller Straftäter behandelt werden, nur weil ein Algorithmus aus seinem Profil eine Wahrscheinlichkeit errechnet hat.
Ein Risikowert, ohne etwas getan zu haben
Angenommen, ein System wertet Ihre Daten aus und kommt zu dem Ergebnis, dass Sie mit einer Wahrscheinlichkeit von 73 Prozent in den nächsten zwei Jahren straffällig werden. Getan haben Sie nichts, einen konkreten Verdacht gibt es auch nicht. Ihr Profil ähnelt lediglich dem von Menschen, die in der Vergangenheit Straftaten begangen haben. Solche Risikobewertungen können nach den Leitlinien der Kommission in jeder Phase der Strafverfolgung vorkommen, von der Verhütung von Straftaten bis zur Entscheidung über Untersuchungshaft (Leitlinien der Kommission zu verbotenen Praktiken der künstlichen Intelligenz vom 29. Juli 2025, C(2025) 5052 final, Rn. 191). Die Kommission räumt dabei selbst ein, dass historische Daten über die Taten anderer bestehende Verzerrungen fortschreiben können (Leitlinien, Rn. 190).
Das Verbot hängt an einem einzigen Wort
Art. 5 Abs. 1 lit. d KI-VO verbietet KI-Systeme, die das Risiko einer Straftat ausschließlich auf Grundlage des Profilings oder der Bewertung persönlicher Merkmale und Eigenschaften bewerten oder vorhersagen. Das Verbot gilt seit dem 2. Februar 2025 (Art. 113 KI-VO) und trifft Anbieter ebenso wie Betreiber (Leitlinien, Rn. 188) von KI-Systemen. Entscheidend ist das Wort „ausschließlich“. Wer Menschen allein anhand ihres Profils in Risikoklassen einsortiert, bewegt sich im Verbotsbereich. Unterstützt ein System dagegen eine menschliche Bewertung, die sich bereits auf objektive und überprüfbare Tatsachen zu einer kriminellen Aktivität stützt, nimmt der letzte Halbsatz der Vorschrift es ausdrücklich aus. Pflichtenfrei ist es deshalb nicht. Beim Einsatz durch Strafverfolgungsbehörden handelt es sich regelmäßig um ein Hochrisiko-KI-System nach Anhang III Nr. 6 lit. d KI-VO (Leitlinien, Rn. 185).
Wenn das Profil anderer zum eigenen wird
Ausdrücklich nennt die Kommission das sogenannte Gruppenprofiling. Aus Daten über Straftaten anderer wird ein Profil für eine Tätergruppe gebildet und später auf eine einzelne Person angewendet. Auch das ist ein Profiling dieser Person, das unter das Verbot fallen kann (Leitlinien, Rn. 196). Heikel wird es vor allem, wenn die Prognose an Merkmale anknüpft, die mit einer Straftat nichts zu tun haben. Erwägungsgrund 42 der KI-VO nennt beispielhaft Staatsangehörigkeit, Geburtsort, Wohnort, Anzahl der Kinder, Schulden oder die Art des Fahrzeugs. Ein Prognosetool einer Steuerbehörde, das sämtliche Steuererklärungen etwa nach doppelter Staatsangehörigkeit oder Geburtsort auswertet, fällt nach Auffassung der Kommission deshalb in der Regel unter das Verbot (Leitlinien, Rn. 202).
Erst überprüfbare Tatsachen führen aus dem Verbot heraus
Ein Werkzeug, das Ermittlern bei der Auswertung von Beweismitteln oder der Analyse konkreter Verdachtsmomente hilft, ist nicht verboten. Typischerweise besteht in diesen Fällen bereits ein begründeter Verdacht (Leitlinien, Rn. 201). Spannender sind die Fälle dazwischen. Die Kommission hält es für möglich, dass auch andere Elemente neben dem Profil eine Bewertung aus dem Verbot herausführen, verlangt aber, dass sie tatsächlich vorhanden sind und für das Ergebnis echtes Gewicht haben (Leitlinien, Rn. 202). Unserer Ansicht nach entscheidet sich genau hier in der Praxis, ob ein System unter das Verbot fällt. Wer einem Profiling-System ein paar Tatsachen beimischt, um es formal aus dem Verbot herauszuhalten, wird sich darauf kaum berufen können. Ebenso wichtig ist eine menschliche Aufsicht, die dem unkritischen Vertrauen in das Ergebnis der Maschine aktiv entgegenwirkt (Leitlinien, Rn. 204).
Was die Kommission nicht als verboten ansieht
Ein System, das Kriminalitätswahrscheinlichkeiten für einzelne Stadtgebiete berechnet und danach die Streifenplanung ausrichtet, bewertet Orte und keine Personen (Leitlinien, Rn. 212). Verknüpft es den Risikowert eines Gebiets allerdings mit dem Wohnort einer bestimmten Person, ist es personenbezogen und kann sehr wohl unter das Verbot fallen (Leitlinien, Rn. 213). Erlaubt bleibt auch ein System, das gefährliches Verhalten in einer Menschenmenge erkennt, sofern das Verhalten hinreichend verdächtig ist und ein Mensch die Einstufung überprüft (Leitlinien, Rn. 214).
Bemerkenswert großzügig ist die Kommission bei einem Risikobewertungsinstrument für die richterliche Haftprüfung, das unter anderem mit Daten zu Einkommen und Beschäftigungsstatus trainiert wurde. Auch dieses sieht sie außerhalb des Verbots (ebd.). Ob der EuGH dem folgen würde, ist offen, zumal die Leitlinien nicht verbindlich sind (Leitlinien, Rn. 5).
Auswirkungen für die Privatwirtschaft
Erfasst sein können auch private Stellen, etwa wenn sie mit hoheitlichen Befugnissen zur Verfolgung von Straftaten betraut sind oder im Auftrag von Strafverfolgungsbehörden handeln (Leitlinien, Rn. 207 f.). Für die Geldwäschebekämpfung durch Kreditinstitute sieht die Kommission kein Verbot, solange das KI-System nur die gesetzlich festgelegten objektiven Daten nutzt und die Ergebnisse von Menschen überprüft werden (Leitlinien, Rn. 209). Profiliert ein Unternehmen seine Kunden im gewöhnlichen Geschäftsbetrieb, etwa um finanzielle Unregelmäßigkeiten aufzudecken, ohne eine bestimmte Straftat vorherzusagen, ist das Verbot nicht berührt (Leitlinien, Rn. 210 f.).
Fazit
Art. 5 Abs. 1 lit. d KI-VO schützt davor, dass Menschen als gefährlich gelten, bevor sie irgendetwas getan haben. Die Strafverfolgung darf KI allerdings weiterhin nutzen, solange am Anfang überprüfbare Tatsachen stehen und ein Mensch das Ergebnis kritisch prüft. Die Grenze ist dort erreicht, wo die Technik den Bezug zu Tatsachen verliert und das Profil allein über den Menschen urteilt. Es ist naheliegend, dass die eigentlichen Streitfragen künftig bei Anwendungen liegen werden, die Profildaten mit einzelnen Tatsachen vermischen. Anbieter und Betreiber sollten daher nachvollziehbar dokumentieren, welches Gewicht die Tatsachenelemente bei der Bewertung tatsächlich haben.
In unserem nächsten Beitrag geht es um Art. 5 Abs. 1 lit. e KI-VO und das Verbot, Gesichtserkennungsdatenbanken durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder aus Überwachungsaufnahmen aufzubauen.
Keine Kommentare