KI-Prüfschema für Hochrisiko-KI-Systeme

Am 1. August 2024 ist die KI-Verordnung (KI-VO, engl. AI Act) in Kraft getreten. Viele Pflichten hängen von der Art des KI-Systems ab. Die KI-VO kennt drei Arten von KI-Systemen:

allgemeine KI-Systeme
bestimmte KI-Systeme
Hochrisiko-KI-Systeme

Ob ein KI-System als Hochrisiko-KI-System eingestuft werden muss oder nicht, ergibt sich aus Art. 6 KI-VO. Art. 6 Abs. 2 KI-VO regelt, welche Systeme grundsätzlich als Hochrisiko-KI-System eingestuft werden. Der Absatz verweist auf Anhang III der KI-VO. An die drei unterschiedlichen System werden ganz verschiedene Anforderungen gestellt.

Wir bieten Ihnen hier einen Entscheidungsbaum an, der Sie dabei unterstützt, festzustellen, ob ihr KI-System ein Hochrisiko-KI-System ist.

Bei Fragen sprechen Sie uns gerne an.

1. Risikoabfrage (Art. 6 Abs. 3 KI-VO)

Birgt das KI-System kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen?

oder

Wird durch das KI-System das Ergebnis der Entscheidungsfindung nicht wesentlich beeinflusst?

oder

Ist das KI-System dazu bestimmt, eine eng gefasste Verfahrensaufgabe durchzuführen?

oder

Ist das KI-System dazu bestimmt, das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern?

oder

Ist das KI-System dazu bestimmt, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und ist nicht dazu gedacht, die zuvor abgeschlossene menschliche Bewertung ohne eine angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen?

oder

Ist das KI-System dazu bestimmt, eine vorbereitende Aufgabe für eine Bewertung durchzuführen?

Sobald eine Frage mit Ja beantwortet wird, weiter mit Abschnitt 3

Wenn alle Fragen mit Nein beantwortet werden, weiter mit Abschnitt 2

2. Hochrisiko-Bereiche (Art. 6 Abs. 2 KI-VO, Anhang III)

Wird das System in einem der folgenden Bereiche eingesetzt? Wenn Sie eine der dort genannten Fragen mit Ja beantworten können, dann liegt wahrscheinlich ein Hochrisikosystem vor.

KI-Systeme im Bereich Biometrie

Handelt es sich um ein biometrisches Fernidentifizierungssystem, das nicht nur zur Identifizierung einer Person eingesetzt wird?

oder

Handelt es sich um ein System zur biometrischen Kategorisierung von Personen anhand von sensiblen oder geschützten Attributen?

oder

Handelt es sich um ein System zur Emotionserkennung mit Hilfe biometrischer KI-Systeme?

Wenn eine Frage mit Ja beantwortet wird, liegt wahrscheinlich ein Hochrisiko-KI-System vor.

Nein, weiter mit Abschnitt 3

KI-Systeme im Bereich Kritische Infrastruktur

Werden die KI-Systeme bestimmungsgemäß als „Sicherheitsbauteile“ eingesetzt?

oder

Erfüllt das System eine Sicherheitsfunktion oder gefährdet dessen Ausfall oder Störung die Gesundheit und Sicherheit von Personen oder Eigentum?

Wenn eine Frage mit Ja beantwortet wird, liegt ein Hochrisiko-KI-System vor.

Nein, weiter mit Abschnitt 3

KI-Systeme im Bereich allgemeine und berufliche Bildung

Handelt es sich um ein System zur Zulassung und Zuweisung zu Bildungsangeboten?

oder

Handelt es sich um ein System zur Bewertung und Steuerung von Lernergebnissen?

oder

Handelt es sich um ein System zur Bewertung des angemessenen Bildungsniveaus?

oder

Handelt es sich um ein System zur Überwachung und Erkennung von verbotenem Prüfungsverhalten?

Wenn eine Frage mit Ja beantwortet wird, liegt wahrscheinlich ein Hochrisiko-KI-System vor.

Nein, weiter mit Abschnitt 3

KI-Systeme im Bereich Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit

Handelt es sich um ein System zur Einstellung und Auswahl von Beschäftigten inklusive der gezielten Schaltung von Stellenanzeigen?

oder

Handelt es sich um ein System zur Unterstützung bei Entscheidungen, die die Bedingung von Arbeitsverhältnissen, Beförderung, Kündigung beeinflussen?

oder

Handelt es sich um ein System zur Zuweisung von Aufgaben aufgrund von individuellem Verhalten oder persönlichen Merkmalen und Eigenschaften?

oder

Handelt es sich um ein System zur Beobachtung oder Bewertung von Leistung?

Wenn eine Frage mit Ja beantwortet wird, liegt wahrscheinlich ein Hochrisiko-KI-System vor.

Nein, weiter mit Abschnitt 3

KI-Systeme im Bereich Zugänglichkeit und Inanspruchnahme grundlegender privater und grundlegender öffentlicher Dienste und Leistungen

Handelt es sich um ein System zur Antragsbearbeitung von Behörden, sofern Ansprüche und Leistungen gewährt werden sollen?

oder

Handelt es sich um ein System zur Prüfung der Kreditwürdigkeit und Bonitätsbewertung, das nicht zur Aufdeckung von Finanzbetrug genutzt wird?

oder

Handelt es sich um ein System zur Risikobewertung und Preisbildung bei Lebens- und Krankenversicherungen?

oder

Handelt es sich um ein System zur Klassifizierung von Notrufen, zur Priorisierung des Einsatzes von Not- und Rettungsdiensten oder zu Triage-Entscheidungen im Rahmen der Notfallversorgung?

Wenn eine Frage mit Ja beantwortet wird, liegt wahrscheinlich ein Hochrisiko-KI-System vor.

Nein, weiter mit Abschnitt 3

KI-Systeme im Bereich Strafverfolgung

Handelt es sich um ein System, das von Strafverfolgungsbehörden genutzt werden soll, um das Risiko zu bewerten, Oper von Straftaten zu werden?

oder

Handelt es sich um ein System, das von Strafverfolgungsbehörden als Lügendetektor genutzt wird?

oder

Handelt es sich um ein System, das von Strafverfolgungsbehörden zur Bewertung der Verlässlichkeit von Beweismitteln verwendet werden soll?

oder

Handelt es sich um ein System, das von Strafverfolgungsbehörden genutzt werden soll, um die Wahrscheinlichkeit von Straftaten von Personen oder kriminelles Verhalten zu bewerten?

oder

Handelt es sich um ein System, das von Strafverfolgungsbehörden im Zuge der Aufdeckung, Ermittlung und Verfolgung von Straftaten zur Erstellung von Profilen verwendet werden soll?

Wenn eine Frage mit Ja beantwortet wird, liegt wahrscheinlich ein Hochrisiko-KI-System vor.

Nein, weiter mit Abschnitt 3

KI-Systeme im Bereich Migration, Asyl und Grenzkontrolle

Handelt es sich um ein System, das von Behörden als Lügendetektor verwendet werden soll?

oder

Handelt es sich um ein System, das von Behörden zur Risikobewertung eingesetzt werden soll, beispielsweise zur Risikobewertung einer irregulären Einwanderung oder eines Gesundheitsrisikos eines Einreisenden?

oder

Handelts es sich um ein System, das von Behörden zur Prüfung von Asyl- und Visumanträgen sowie Aufenthaltstiteln eingesetzt werden soll?

oder

Handelt es sich um ein System, das von Behörden im Zusammenhang mit Migration, Asyl und Grenzkontrollen zur Aufdeckung, Anerkennung und Identifizierung von Personen eingesetzt werden soll?

Wenn eine Frage mit Ja beantwortet wird, liegt wahrscheinlich ein Hochrisiko-KI-System vor.

Nein, weiter mit Abschnitt 3

KI-Systeme im Bereich Rechtspflege und Steuerung demokratischer Prozesse

Handelt es sich um ein System, das von einer Justizbehörde zur Ermittlung und Auslegung von Sachverhalten und Rechtsvorschriften und bei der Anwendung des Rechts verwendet werden soll?

oder

Handelt es sich um ein System, das das Ergebnis einer Wahr oder das Wahlverhalten von Personen beeinflussen soll?

Wenn eine Frage mit Ja beantwortet wird, liegt wahrscheinlich ein Hochrisiko-KI-System vor.

Nein, weiter mit Abschnitt 3

3. Sicherheitsbauteil oder Produkt kritischer Bereiche (Art. 6 Abs. 1 KI-VO, Anhang I)

Wird das KI-System als Sicherheitsbauteil folgender Produkte verwendet oder ist das KI-System selbst ein solches Produkt?

Maschinen, auswechselbare Ausrüstungen, Sicherheitsbauteile, Lastaufnahmemittel, Ketten, Seile, Gurte, abnehmbare Gelenkwellen
Spielzeuge
Sportboote, Wassermotorräder
Aufzüge
Geräte und Schutzsysteme für explosionsgefährdete Bereiche
Funkanlagen
Druckgeräte und Kessel
Seilbahnen
persönliche Schutzausrüstungen, u. a. für Selbstverteidigung und Schutz vor Witterungseinflüssen

Geräte zur Verbrennung gasförmiger Brennstoffe
Medizinprodukte
In-vitro-Diagnostika-Systeme
Systeme der Zivilluftfahrt
zwei- drei- oder vierrädrige Fahrzeuge
land- und forstwirtschaftliche Fahrzeuge
Schiffsausrüstungen
Eisenbahnsysteme
Kraftfahrzeuge und Kraftfahrzeuganhänger

Wenn eine Frage mit Ja beantwortet wird, liegt möglicherweise ein Hochrisiko-KI-System vor und es sind weitere Prüfungen notwendig.

Wenn Sie ganz sicher sein wollen, nehmen Sie Kontakt mit uns auf.

Ihre Ansprechpartner

Bei allen Fragen rund um das Thema KI sprechen Sie uns gerne an. Wir stellen Ihnen ein zu Ihrer Fragestellung passendes, interdisziplinäres Team aus Berater*innen zusammen.

Oliver Stutz, Volljurist

Geschäftsführer

E-Mail: ostutz@re-move-this.datenschutz-nord.de

Telefon: +49 421 69 66 32-314

datenschutz nord GmbH, Bremen

Sven Venzke-Caprarese, Volljurist

Geschäftsführer

E-Mail: svenzke-caprarese@re-move-this.datenschutz-nord.de

Telefon: +49 421 69 66 32-318

datenschutz nord GmbH, Bremen

Dr. iur.

Christian Borchers, Volljurist

Geschäftsführer

E-Mail: office@re-move-this.datenschutz-sued.de

Telefon: +49 931 30 49 76-0

datenschutz süd GmbH, Würzburg

Sie benötigen Unterstützung in Ländern außerhalb Deutschlands?

Als Unternehmensgruppe betreuen wir Sie natürlich auch außerhalb Deutschlands in vielen Sprachen. Die FIRST PRIVACY steht Ihnen mit einem internationalen Team von Jurist*innen und jahrelanger Erfahrung gerne zur Seite. Vereinbaren Sie ein unverbindliches Beratungsgespräch.

Peter Suhren, Volljurist

Geschäftsführer

E-Mail: psuhren@re-move-this.first-privacy.com

Telefon: +49 421 69 66 32-822

FIRST PRIVACY GmbH, Bremen

Cihan Parlar, LL.M. (Tilburg)

Geschäftsführer

E-Mail: cparlar@re-move-this.first-privacy.com

Telefon: +31 20 211 7116

FIRST PRIVACY B.V., Amsterdam

Kennen Sie schon unseren Blog?

Mit unserem Blog „datenschutz notizen“ informieren wir Kunden und Interessierte über aktuelle Themen in den Bereichen Datenschutz, Informationssicherheit und Compliance.

Hier finden Sie unsere neuesten Beiträge zur KI-Verordnung (engl. AI Act):