Die Kategorien der EU-Verordnung

(Übersetzt von DeepL)

Die europäische Verordnung über künstliche Intelligenz (KI-VO) verfolgt einen Ansatz, der sich auf die Risiken konzentriert, die ein System künstlicher Intelligenz (KIS, vgl. Caballero Cuevas, cdbf.ch/1382) für die Gesundheit, Sicherheit und die Grundrechte von Einzelpersonen darstellen kann. KIS werden in vier Kategorien unterteilt, bzw. in KIS mit einem unannehmbaren Risiko, KIS mit hohem Risiko, KIS mit begrenztem Risiko und KIS mit minimalem Risiko. Der vorliegende Kommentar konzentriert sich auf die ersten drei Kategorien von KIS.

A. KIS mit inakzeptablem Risiko

Art. 5 KI-VO verbietet KIS, deren Inverkehrbringen, Inbetriebnahme oder Verwendung ein unannehmbares Risiko darstellen. Absatz 1 enthält eine erschöpfende Liste verbotener Praktiken. Als Beispiele können genannt werden :

• Sozialkredit KIS (Bst. c) ;
• KIS, die präventiv das Risiko abschätzen, dass eine Person eine Straftat begeht (Bst. d) ;
• KIS, die auf die Emotionen einer natürlichen Person am Arbeitsplatz und in Bildungseinrichtungen schließen lassen (Bst. f) ;
• KIS zur individuellen biometrischen Kategorisierung, die insbesondere Rückschlüsse auf die Rasse, die politische Meinung, die Gewerkschaftszugehörigkeit und die sexuelle Orientierung einer natürlichen Person zulassen (siehe Bst. g) ;
• KIS zur biometrischen Echtzeitüberwachung in öffentlichen Räumen zu Strafverfolgungszwecken (Bst. h) ;
• KIS, die darauf abzielen, menschliches Verhalten zu manipulieren, um natürliche Personen ihres freien Willens zu berauben (Bst. a).

Trotz des formellen Verbots sieht die KI-VO Hintertüren (Backdoors) vor, die unter bestimmten Bedingungen den Einsatz von KIS ermöglichen, die ein unannehmbares Risiko darstellen. Dies gilt insbesondere für KISzur biometrischen Überwachung in Echtzeit, wenn sie beispielsweise zur Suche nach Opfern von Entführung, Menschenhandel oder sexueller Ausbeutung sowie zur Verhinderung einer spezifischen Bedrohung wie eines Terroranschlags eingesetzt werden. Die Bedingungen für ihren Einsatz sind in den Absätzen 2 ff. von Art. 5 KI-VO festgelegt.

Gegenwärtig stellt kein im Bank- und Finanzwesen verwendetes KI-VO ein unannehmbares Risiko dar. In der Praxis dürfte Art. 5 KI-VO daher keine Auswirkungen auf Banken und Finanzinstitute haben.

B. KIS mit hohem Risiko

Die regulatorischen Anforderungen der KI-VO gelten hauptsächlich für KIS mit hohem Risiko (Art. 8 bis 15 KI-VO). Art. 6 Abs. 1 KI-VO sieht vor, dass ein KIS als hochriskant zu betrachten ist, wenn die beiden folgenden Bedingungen kumulativ erfüllt sind :

• Erstens, dass das KISe als Sicherheitsbauteil eines Produkts verwendet werden soll, das unter eine in Anhang 1 KI-VO genannte Richtlinie oder Verordnung fällt, oder dass das KIS selbst ein solches Produkt darstellt. Zu den genannten Rechtsvorschriften gehören die Maschinenrichtlinie, die Richtlinie über Aufzüge und Sicherheitsbauteile für Aufzüge, die Verordnung über Medizinprodukte oder die Verordnung zur Festlegung gemeinsamer Vorschriften für die Sicherheit in der Zivilluftfahrt.
• Zweitens wird das Produkt, bei dem das KIS ein Sicherheitsbauteil oder ein Produkt selbst ist, im Hinblick auf das Inverkehrbringen oder die Inbetriebnahme dieses Produkts gemäß den in Anhang 1 KI-VO genannten Rechtsvorschriften einer Konformitätsbewertung durch einen Dritten unterzogen.

Absatz 2 verweist auf Anhang 3 KI-VO, der eine erschöpfende Liste von Anwendungen mit hohem Risiko vorsieht. Im Bank- und Finanzbereich sollte den folgenden KIS besondere Aufmerksamkeit geschenkt werden :

• KIS, die bei der Auswahl oder Einstellung von Bewerbern verwendet werden (vgl. Hirsch, cdbf.ch/1384) ;
• KIS, die bei der Entscheidungsfindung über die Bedingungen von Arbeitsbeziehungen, Beförderungen oder Entlassungen verwendet werden ;
• KIS, die zur Bewertung der Kreditwürdigkeit natürlicher Personen oder zur Erstellung ihrer Bonitätseinstufung (Credit Scoring) verwendet werden ; und
• KIS, die zur Risikobewertung und Preisgestaltung in Bezug auf natürliche Personen in der Lebens- und Krankenversicherung verwendet werden.

Die KI-VO sieht auch hier wieder Hintertüren vor. Tatsächlich kann ein in Anhang 3 KI-VO genanntes KIS als nicht hochriskant eingestuft werden, wenn es „kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es unter anderem nicht das Ergebnis der Entscheidungsfindung wesentlich beeinflusst“ (vgl. Art. 6 Abs. 3 KI-VO). Die Einschätzung des Risikos wird dem Anbieter des KIS überlassen. Dieser muss somit seine Bewertung vor dem Inverkehrbringen oder der Inbetriebnahme genau dokumentieren, wenn er der Ansicht ist, dass ein solches KIS gemäß Art. 6 Abs. 3 KI-VO nicht mit einem hohen Risiko behaftet ist. Die Europäische Kommission muss bis zum 2. Februar 2026 Leitlinien bereitstellen, in denen die Umsetzung von Art. 6 KI-VO näher erläutert wird.

Die als hochriskant eingestuften KIS können sich in Zukunft entsprechend dem technologischen Fortschritt und ihrer Verwendung weiterentwickeln. Zu diesem Zweck sieht Art. 7 KI-VO vor, dass die Kommission befugt ist, Anhang 3 KI-VO zu ändern.

C. KIS mit begrenztem Risiko

Die KI-VO definiert nicht, welche KIS ein begrenztes Risiko darstellen. Dennoch führt sie Transparenzanforderungen (vgl. Art. 50 KI-VO) für bestimmte Arten von KIS ein, die weder zu den KIS mit unannehmbarem Risiko noch zu den KIS mit hohem Risiko gehören. Diese Anforderungen gelten insbesondere für KIS, die dazu bestimmt sind, direkt mit natürlichen Personen zu interagieren, solche, die dazu bestimmt sind, synthetische Audio-, Bild-, Video- oder Textinhalte zu erzeugen, oder solche, die dazu bestimmt sind, Bilder oder Audio- oder Videoinhalte zu erzeugen oder zu manipulieren, die ein Hypertrucking (Deepfakes) darstellen. Unserer Ansicht nach zielt diese Kategorie vor allem auf Konversationsagenten und generative KI-Anwendungen ab.

Die Transparenzanforderungen zielen vor allem darauf ab, den Nutzern zu signalisieren, dass es sich um eine Konversation mit einer KI handelt, und die von der KI erzeugten Inhalte als solche zu kennzeichnen.

Die Einstufung eines KIS als mit einem begrenzten Risiko verbunden entbindet nicht von der Analyse, ob das von ihm verwendete KI-Modell ein KI-Modell mit allgemeinem Verwendungszweck ist (vgl. Caballero Cuevas, cdbf.ch/1382). So sollte der Anbieter eines Konversationsagenten, der ein KI-Modell mit allgemeinem Verwendungszweck verwendet, insbesondere dazu angehalten werden, die Transparenzanforderungen (vgl. Art. 50 KI-VO) sowie die Anforderungen an KI-Modelle für allgemeine Zwecke (vgl. Art. 53 KI-VO, Art. 55 KI-VO) zu erfüllen.

Unserer Ansicht nach könnten Banken und Finanzinstitute dazu verpflichtet werden, die Transparenzanforderungen von Art. 50 KI-VO zu erfüllen, je nachdem, ob sie als Anbieter oder Bereitsteller von KIS qualifiziert sind.