Der europäische Verordnungsentwurf zu KI : Was bedeutet das für Finanzdienstleistungen ?

(Übersetzt von DeepL)

Die Europäische Kommission hat am 21. April 2021 ihren Entwurf für eine Verordnung über künstliche Intelligenz (P-RIA) vorgestellt, mit dem harmonisierte Vorschriften für künstliche Intelligenz (KI) in allen Mitgliedstaaten der Europäischen Union festgelegt werden sollen. Mit dem P-RIA möchte die Kommission einen Rechtsrahmen schaffen, der eine Nutzung der KI im Einklang mit den europäischen Werten ermöglicht und gleichzeitig Innovationen fördert. Der P-RIA verfolgt einen risikobasierten Ansatz und führt ein System der ex ante und ex post Überwachung ein. So müssen Anbieter von KI und andere im P-RIA benannte Akteure vor und nach dem Inverkehrbringen oder der Inbetriebnahme des KI-Systems die darin festgelegten Verpflichtungen erfüllen. Bei Verstössen sieht der P-RIA insbesondere Aussetzungs- oder Entzugsmaßnahmen und Geldbussen von bis zu 30’000’000 EUR für natürliche Personen und bis zu 6 % des weltweiten Umsatzes für Unternehmen vor.

Angesichts der zunehmenden Verwendung von KI im Finanzbereich ist es sinnvoll, einen Überblick über die P-RIA zu geben, um die rechtlichen Herausforderungen für Finanzinstitute, aber auch die möglichen Auswirkungen in der Schweiz zu verstehen.

Zunächst definiert Art. 3(1) P-RIA ein KI-System als eine Software, die mit einer oder mehreren der in Anhang I des P-RIA aufgeführten Techniken oder Ansätze entwickelt wurde und in der Lage ist, auf der Grundlage festgelegter Ziele Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen zu generieren, die die Umgebungen beeinflussen, mit denen die Software interagiert. Die in Anhang I aufgeführten Techniken und Ansätze umfassen insbesondere selbstlernende Ansätze (maschinelles Lernen), logik- und wissensbasierte Ansätze wie induktive logische Programmierung oder statistische Ansätze. Mit dieser weit gefassten Definition möchte die Kommission den technologischen Entwicklungen und Marktentwicklungen im Bereich der KI Rechnung tragen.

Der P-RIA klassifiziert KI-Systeme anschließend nach ihren Risiken, d. h. nach inakzeptablen Risiken und hohen Risiken. In die Kategorie der inakzeptablen Risiken fallen insbesondere KI-Systeme, die darauf abzielen, das menschliche Verhalten zu manipulieren, um Bürgern ihren freien Willen zu nehmen, oder die es Staaten ermöglichen, ihre Bürger sozial zu bewerten (siehe Art. 5 P-RIA).

Für hohe Risiken zielt Art. 6 Abs. 1 P-RIA auf alle KI-Systeme ab, die (i) als Sicherheitsbauteil eines Produkts verwendet werden sollen oder selbst ein Produkt sind, das unter die in Anhang II des P-RIA aufgeführten Rechtsvorschriften fällt, und (ii) das Produkt, dessen Sicherheitsbauteil das KI-System ist, oder das KI-System selbst als Produkt einer Konformitätsbewertung durch einen Dritten im Hinblick auf sein Inverkehrbringen oder seine Inbetriebnahme gemäß den in Anhang II genannten Rechtsvorschriften unterzogen werden muss. Schließlich wird in Art. 6 Abs. 2 P-RIA präzisiert, dass die in Anhang III des P-RIA genannten KI-Systeme als mit einem hohen Risiko behaftet anzusehen sind.

Anhang III Ziff. 5 Bst. b betrachtet KI-Systeme, die zur Bewertung der Kreditwürdigkeit natürlicher Personen oder zur Ermittlung ihres Kreditrisikos (Kredit-Score) bestimmt sind, als mit einem hohen Risiko behaftet. Diese KI-Systeme können nämlich erhebliche Auswirkungen auf Einzelpersonen haben, da sie beispielsweise über die Gewährung einer Hypothek oder einer Kreditlinie entscheiden können. Daher müssen diese KI-Systeme in Übereinstimmung mit dem P-RIA entwickelt und überwacht werden, damit jede Person einen fairen Zugang zu Finanzdienstleistungen hat und eine Diskriminierung aufgrund persönlicher Merkmale vermieden wird. Interessant ist jedoch, dass Anhang III nur die Bewertung natürlicher Personen und nicht die von juristischen Personen betrifft.

Jedes Finanzinstitut, das ein KI-System zur Bestimmung eines Kreditrisikos verwendet oder bereitstellt, muss daher die in Titel III Kapitel 2 und 3 des P-RIA vorgesehenen Verpflichtungen erfüllen, insbesondere ein Risikomanagementsystem, angemessene Datenverwaltungs- und Governance-Praktiken sowie eine technische Dokumentation einrichten, Aufzeichnungen über jedes Ereignis (Logs) führen und die Überwachung der KI während ihrer Nutzung ermöglichen. Darüber hinaus muss das KI-System so entwickelt sein, dass es ein gewisses Maß an Genauigkeit sowie Widerstandsfähigkeit gegen Cyberangriffe oder sonstigen Missbrauch aufweist (siehe Bacharach, cdbf.ch/1164 zur digitalen Resilienz).

Um eine kohärente Anwendung der P-RIA im Einklang mit den Finanzvorschriften zu gewährleisten, werden die für die Überwachung und Durchsetzung dieser Vorschriften zuständigen Behörden als zuständige Behörden für die Überwachung der Anwendung der P-RIA benannt. Darüber hinaus müssen das Verfahren zur Bewertung der Konformität von KI-Systemen sowie die ex post-Überwachung in die Verpflichtungen und Verfahren der Richtlinie 2013/36/EU integriert werden.

Aus dem P-RIA geht hervor, dass KI-Systeme, die die Solvenz oder das Kreditrisiko von Personen bewerten, als mit einem hohen Risiko behaftet gelten, da sie soziale Ungleichheiten verstärken oder bestimmte Bevölkerungsgruppen wirtschaftlich diskriminieren können. Viele der im Finanzbereich eingesetzten KI-Systeme fallen jedoch nicht unter die Kategorie der KI-Systeme mit hohem Risiko. Es ist jedoch wichtig zu beachten, dass, wenn ein Finanzinstitut einen Chatbot – eine Technologie, die nicht unter die Kategorie der KI-Systeme mit hohem Risiko fällt – für die Interaktion mit seinen Kunden einsetzt, diese aufgrund der in Art. 52 P-RIA festgelegten Mindesttransparenzpflicht darüber informiert werden müssen, dass sie mit einem solchen System interagieren. Selbstverständlich kann Anhang III in Zukunft geändert und um weitere KI-Systeme ergänzt werden.

Schweizer Finanzinstitute müssen sich möglicherweise an die künftige europäische Verordnung halten, die jedoch voraussichtlich erst in einigen Jahren in Kraft treten wird. Diese Verordnung wird nämlich extraterritoriale Wirkung haben, da sie gemäss Art. 2 Abs. 1 E-IAV grundsätzlich (i) für Anbieter gilt, die ein KI-System auf dem europäischen Markt in Verkehr bringen oder in Betrieb nehmenfür einen Nutzer oder für den eigenen Gebrauch auf den Markt bringen oder in Betrieb nehmen, unabhängig davon, ob sie in der Europäischen Union oder in einem Drittland niedergelassen sind, (ii) für Nutzer von KI-Systemen in der Europäischen Union oder (iii) für Anbieter und Nutzer von KI-Systemen in einem Drittland, wenn die von der KI generierten Ergebnisse in der Europäischen Union verwendet werden.

Mit dem P-RIA sieht die Kommission daher die Einführung des ersten Rechtsrahmens für KI mit extraterritorialer Reichweite vor und hofft damit, die regulatorischen Auswirkungen nachzuahmen, die die DSGVO in der Europäischen Union und anderen Regionen der Welt hatte.