Der aktuelle Entwurf der KI Verordnung der Europäischen Union [EU AI Act] verlangt von Unternehmen, mit Artikel 29a eine grundrechtliche Folgenabschätzung für Hochrisiko-KI-Systeme durchzuführen. Konkret bedeutet dies, dass Betreiber verpflichtet sind, die Auswirkungen von KI-Lösungen bei der Einstellung von Mitarbeitern, medizinischen Anwendungsfällen und anderen sogenannten Hochrisikobereichen zu analysieren und entsprechende Maßnahmen zur Abhilfe zu ergreifen. Kritiker argumentieren, dass dieses Grundrechteassessment für Unternehmen zu aufwendig ist und die explizite Verankerung einer Folgenabschätzungen in Artikel 29a überflüssig ist. Wir sehen das anders und begründen hier, warum wir uns für Artikel 29a einsetzen.
Hintergrund der Diskussion: Warum muss KI ethisch sein?
Die aktuelle Diskussion um sogenannte Large Language Models (LLMs) wie Chat GPT oder Google Bart, aber auch der Offene Brief des Future of Life Institute haben die Frage nach einer Regulierung von KI in letzter Zeit wieder in den Vordergrund des zivilgesellschaftlichen Diskurses rücken lassen. Der Einsatz dieser Modelle hat dabei verdeutlicht, welche Risiken mit dem Einsatz von vergleichsweise harmlosen KI-Anwendungen einhergehen können.
Dabei handelt es sich bei den LLMs gar nicht mal um diejenigen KI-Anwendungsfälle, die gesellschaftlich am kontroversesten sind. Denn KI wird in Privatwirtschaft und öffentlicher Verwaltung zunehmend in Bereichen eingesetzt, die für grundrechtliche Schutzbereiche (z.B. das Recht auf Gesundheit) hochrelevant sind. Konkret geht es hier um die automatisierte Analyse von Gesundheitsdaten, aber auch um den Einsatz von Gesichtserkennung im öffentlichen Raum oder den Einsatz von KI in Einstellungsverfahren. In den genannten Fällen entwickeln und nutzen Unternehmen KI Systeme, deren Output sich konkret auf das Leben und die Lebensqualität von zahlreichen Menschen auswirkt und am Ende (mit-)bestimmt, wer welchen Job bekommt, wer von der Polizei als Verdachtsfall eingestuft ist, oder bei welcher Röntgenaufnahme von einem Krebsfall auszugehen ist. Die Regeln, nach denen KI funktioniert, sind dabei den Beteiligten nicht immer klar, denn KI-Modelle passen sich häufig dem Datensatz, mit dem sie gefüttert werden, an. Sie verändern sich also dynamisch, was es schwierig macht, konkrete Ursachen-Wirkungszusammenhänge auszumachen und besondere Anforderungen an die Erklärbarkeit von KI-Systemen stellt. Zudem ist die Datengrundlage, mit der KI arbeitet, nicht ausreichend repräsentativ. Es können zum Beispiel gesundheitliche Daten von Menschen mit Migrationshintergrund in einem geringeren Umfang vorhanden sein, als von Menschen, die in Deutschland geboren sind. Aber auch KI-Lösungen zur Gesichtserkennung könnten Personen aufgrund ihres Alters schlechter erkennen als die Durchschnittsbevölkerung. Dies wäre der Fall, wenn ein System nur mit Menschen einer bestimmten Altersgruppe trainiert worden ist. Im Alltag kann das für Betroffene zu nachteiligen Konsequenzen führen, zum Beispiel eine Benachteiligung bei der Abfertigung von Passagieren und damit verbundenen längeren Wartezeiten. Was im Falle einer Flugreise vielleicht ärgerlich ist, kann im medizinischen Anwendungsfall über die Heilungschancen einer Patientin entscheiden. Eine Verhinderung dieser Fälle ist somit dringend geboten, um eine Verschärfung bereits bestehender, aber auch die Entstehung von vollkommen neuen Ungleichheiten zu verhindern. Denn die aktuelle Rechtslage zum Beispiel das Allgemeine Gleichbehandlungsgesetz (AGG) deckt nicht alle Formen von Ungleichbehandlung vollständig ab, wie am Beispiel Diskriminierung aufgrund des sozialen Status von Personen deutlich wird.
Die KI Verordnung als Lösungsansatz
Der aktuelle Entwurf der EU KI Verordnung hat das Ziel, einheitliche Regeln für den Umgang mit KI-Lösungen zu schaffen und die beschriebenen Probleme von KI anzugehen. Ein wichtiger Aspekt wäre hier die Verankerung der Erklärbarkeit von KI-Systemen. Da nicht alle KI-Lösungen starke oder überhaupt irgendwelche Auswirkungen auf das Leben von Menschen haben, konzentriert sich der aktuelle Entwurf der KI Verordnung auf sogenannte Hochrisiko Anwendungsfälle von KI. Diese sind in Bereichen angesiedelt, die grundrechtsrelevant sind, also mit Risiken für das Leben und die Sicherheit von Personen einhergehen oder die Teilhabe von Individuen an gesellschaftlichen Prozessen einschränken könnten. Grundrechte als ethische Basis für die Klassifizierung von KI-Systemen zu benutzen macht auch deswegen Sinn, weil die Risiken von KI sehr vielfältig sind. Zudem lassen sich somit Fälle von Ungleichbehandlung, die nicht von rechtlichen Rahmenwerken abgedeckt werden (z.B. Gesichtserkennungssysteme, die in einem medizinischen Kontext angewandt werden, erkennen Brillenträger:Innen schlechter), besser im Vorfeld identifizieren, da diese durch allgemeine Grundrechte (hier das Recht auf Gesundheit) abgedeckt werden. Dies führt zu einer Absicherung eines allgemeinen Mindeststandards für den Einsatz von KI-Systemen.
Dass die Regulierung von KI auf Grundrechte basiert, ist ein revolutionärer Schritt, denn bislang hatten zwar Unternehmen immer wieder mit menschenrechtlichen Sorgfaltspflichten zu tun, mit der Grundrechtecharta der EU mussten sich Unternehmen allerdings bisher nur in seltenen Ausnahmefällen auseinandersetzen. Für die Compliance-Abteilungen ist somit nicht nur das Thema KI, sondern auch die Interpretation der EU Grundrechtecharta Neuland. Eine wesentliche Herausforderung ist dabei die Verpflichtung zu einer grundrechtlichen Folgenabschätzung für die Betreiber von Hochrisikosystemen, die in der Juni Fassung der KI Verordnung aufgenommen wurde. Den Fokus auf Betreiber zu legen macht durchaus Sinn, da Unternehmen, die KI betreiben, einen starken Einfluss auf die Modifikationen, aber auch auf die Auswirkungen eines Systems haben. An welcher Stelle ein Flughafen Systeme zur automatisierten Gesichtserkennung einsetzt, kann ein Entwickler des KI-Systems kaum beeinflussen. Auch können Unternehmen, die KI für die automatisierte Bewertung von Lebensläufen selbst entscheiden, wie stark die Technologie eingesetzt wird und inwiefern die Auswahl einer menschlichen Endkontrolle unterworfen wird. Dennoch ist die grundrechtliche Folgenabschätzung unter starken Beschuss geraten und wurde von einigen als unpraktikabel verworfen. Dies wird vor allem damit begründet, dass die Anwendung einer Folgenabschätzung mit einem bürokratischen Mehraufwand einhergeht und auf dem ersten Blick für Unternehmen nur schwer zu bewältigen scheint.
Artikel 29a: Ja oder Nein?
Der Zielkonflikt um Art. 29a des aktuellen Entwurfs der KI Verordnung lässt sich wie folgt zusammenfassen: Wie kann man garantieren, dass bei dem Einsatz von KI in gesellschaftlich wichtigen Bereichen Grundrechte gewahrt bleiben, ohne - populistisch gesprochen - ein neues Bürokratiemonster, dass Innovation verhindert, zu schaffen.
Aus unserer Perspektive geht es hier weniger um das ob, sondern vor allem um das wie:
Die Lösung für diesen Zielkonflikt liegt darin, das Grundrechtassessment als frühen Schritt in der Implementierung aber auch in der Konzeptionierungsphase eines KI-Systems zu verstehen, um die Rechtmäßigkeit des Einsatzes von KI zu beurteilen und früh Maßnahmen einzuleiten, um Risiken für die Wahrung von Grundrechte im konkreten, aber in möglichen Anwendungsfälle abwenden zu können. Konkret bedeutet dies, überhaupt erst einmal nachzuvollziehen, in welchen Bereichen Konflikte zwischen Grundrechten und Entwicklung, dem Einsatz, aber auch dem Design von KI-Lösungen zu erwarten sind. Die folgende Übersicht stellt ein paar Fälle schematisch dar.
Wie sich in den Beispielen zeigt, ist bei der Risikoevaluierung meistens von einer Kombination von mehreren grundrechtlichen Risiken auszugehen. Die allgemeine Relevanz des Risikos einer Ungleichbehandlung von Personen ergibt sich daraus, dass Daten häufig nicht repräsentativ sind, aber auch dass bestimmte Variablen mit historischen Diskriminierungsmuster einhergehen können. Wenn ein KI-System zum Beispiel die Ausgaben von Individuen für Medikamente als Indikator für die Gesundheit einer Person verwendet, ist ein sozio-ökonomischer Bias zu erwarten. Zudem können auch noch datenschutzrechtliche Aspekte hinzukommen, die dem Anwendungsfall zugrundeliegen. Im medizinischen Anwendungsfall wäre hier von einer höheren Relevanz des Rechts auf körperliche Unversehrtheit auszugehen. Denn KI wird nicht nur Menschen ungleich behandeln, sondern für die Betroffenen höhere gesundheitliche Risiken (zum Beispiel aufgrund einer falschen Medikation) aufweisen.
Viele dieser Risiken können bereits sehr früh im Entwicklungsprozess der KI identifiziert werden. Denn die Art, wie KI-Systeme funktionieren, hängt von dem konkreten Modell ab. Denn KI-Systeme basieren immer auf verschiedenen sozialwissenschaftlichen oder auch medizinischen Prämissen. Man muss zum Beispiel bei KI-Lösungen, die die Ausbreitung einer Pandemie vorhersehen sollen, bestimmte Annahmen über die Übertragung von Krankheiten treffen. Hier können ökonomische Annahmen (die Größe von Haushalten), aber auch gesellschaftswissenschaftliche Annahmen eine zentrale Rolle spielen, da es nicht immer nur um naturwissenschaftliche oder medizinische Analysen geht. Kurz gesagt: Um zu verstehen, wie sich Pandemien ausbreiten, muss man auch das Verhalten von Menschen und Gesellschaften kennen. Diese Annahmen wiederum beeinflussen das Design von KI-Lösungen. Mehrpersonenhaushalte könnten dabei als besondere Risikokategorie gewertet werden. Die Problematik von solchen Annahmen kann aber aus menschenrechtlicher Thematik durchaus gefährlich sein, besonders im Hinblick auf die Diskriminierung von Menschen mit AIDS oder fremdenfeindlichen Stereotypen zu Beginn der Corona-Krise.
Hypothesenformulierung und Annahmen: Ein unterschätztes Risiko!
In den meisten Anwendungsfällen ist es aber auch eine Detailfrage. Das folgende Beispiel geht hier kurz auf die Relevanz der Formulierung von Hypothesen ein, die mit Grundrechten konfligieren können.
Die Überprüfung von grundlegenden Modellannahmen ist daher ein besonders wichtiger Schritt der Folgenabschätzung und gleichzeitig auch ein gutes Vehikel, um getroffene Modellannahmen zu hinterfragen. Auch wenn es nicht praktikabel sein wird, alle potenziellen Einschränkungen der grundlegenden Hypothese ex-ante zu überprüfen, hilft eine Analyse dennoch, Fehler frühzeitig zu identifizieren und Mehrkosten einer späteren Anpassung zu vermeiden. Eine konkrete Abhilfemaßnahme aus dem oben genannten Fall zum Beispiel die Ursprungshypothese zu verwerfen oder zumindest abzuschwächen, eine alternative Variable (die Anzahl von Arztbesuchen) und zusätzliche Kontrollvariablen zu verwenden, um mögliche Korrelation zwischen demographischer Gruppenzugehörigkeit und sozioökonomischen Status zu analysieren und das Model entsprechend anzupassen.
Das Beispiel aus dem Medizinbereich steht stellvertretend für eine Reihe von KI-Modellen, die mit Menschen zu tun haben. Ähnliche Fragen bei der Hypothesenformulierung gelten auch für die Evaluierung von Lebensläufen, aber auch für das Vorhersehen von Staus und Verkehrsunfällen oder die Kreditwürdigkeit einer Person.
Sich mit den potenziellen Risiken bei der Hypothesenformulierung von KI-Lösungen auseinanderzusetzen ist somit dringend geboten, da Unternehmen ohnehin an allgemeine menschenrechtliche Sorgfaltspflichten oder im deutschen Fall an das AGG gebunden sind. Dies betrifft auch die Betreiber von KI-Systemen am Ende stärker als die Entwickler von Systemen. Ein Beispiel wäre der Einsatz von Gesichtserkennung in autonomen Shuttlebusen, die Menschen mit Behinderung nicht erkennen und ihnen somit den Zugang zum Nahverkehr verwehren. Ein weiterer Fall ist hier der Einsatz von KI-Systemen bei der Einstellung von Mitarbeitern. Die Grundrechtsfolgeabschätzung hat somit die Aufgabe ein bestehendes Ethik- und Rechtsverständnis auf die Ebene der KI zu hieven, die Entstehung von rechtlichen Lücken zu vermeiden - was passieren könnte, wenn keine Qualitätsstandards für KI verankert werden - , aber auch die Einbindung von Compliance und Risikomanagement in die Entwicklung und Nutzung von KI zu erleichtern. Zudem hat sie den Zweck, die Verantwortung für Fehler in der Entwicklung und Anwendung von KI den einzelnen Parteien zuzuweisen. Dies ist dringend geboten, vor allem aufgrund der Folgen, die KI für unsere Gesellschaft und das Vertrauen in gesellschaftliche Institutionen wie den Arbeitsmarkt, die öffentliche Verwaltung oder das Gesundheitssystem entfalten kann, aber auch um konkrete Maßnahmen zu entwickeln, um die Risiken, die mit KI einhergehen, zu überprüfen. Ein Beispiel dafür sind Qualitätskontrollen beim Einkauf von externen Daten zum Trainieren des KI-Systems im Hinblick auf Repräsentativität, aber auch die Überprüfung der Annahmen eines Modells sowie der Einsatz von bestimmten Hardwarekomponenten, die den Ausschluss von bestimmten Nutzern eines KI-Systems verursachen können. Ziel einer Folgenabschätzung wäre es, damit Handlungsbedarfe für die weiteren Schritte im Entwicklungsprozess zu identifizieren und, basierend auf dem aktuellen Kenntnis- und Technikstand, zu einer Qualitätssteigerung von KI beizutragen, aber auch auf bestimmte Risiken, die mit dem Einsatz von KI einhergehen hinzuweisen. Dass diese Messlatte im Lauf der Zeit höher liegen wird und den technischen und wissenschaftlichen Stand abbildet, wäre somit konsequent, würde aber auch zu einer stetigen Weiterentwicklung der KI beitragen.
Fazit: Grundrechte als elementarer Bestandteil des Risikoassessments
Die Forderung des aktuellen Entwurfs der KI Verordnung, dass sich Unternehmen, die KI einsetzen, eine Folgenabschätzung im Hinblick auf Grundrechte durchführen sollen, ist den gesellschaftlichen Risiken von KI geschuldet. Es ist eine sinnvolle Maßnahmen, um zu verhindern, dass KI mit Grundrechten kollidiert. Denn die Verwendung von KI-Lösungen mit geringer Qualität kann tatsächlich gesellschaftliche Verwerfungen nach sich ziehen und im Falle struktureller Diskriminierung, aber auch mangelnder Systemgenauigkeit und Datenschutzverletzungen Grundrechtsverletzungen verursachen. Unternehmen dürften dabei nicht immer das Problembewusstsein für diese Themen haben. Denn die Risiken sind komplex und der Teufel liegt im Detail. Die Durchführung einer Grundrechtefolgeabschätzung wäre somit ein nützliches Tool um rechtliche Risiken - auch außerhalb der KI Verordnung bereits im Vorfeld des KI-Lebenszyklus auszuschließen, aber auch um ein besseres Verständnis zu gewinnen, wie und in welchem Umfang man eine KI-Lösungen einsetzt. Dennoch werden Unternehmen eine klare Unterstützung bei der Umsetzung von Art. 29 benötigen. Auch eine zu starke Verrechtlichung der Grundrechtefolgenabschätzung könnte Unternehmen von der Implementierung zu sehr abschrecken, so dass auch ein gewisser Spielraum bei der Implementierung der Folgenabschätzungen geboten sein sollte. Der Fokus der Anwendung sollte daher weniger ergebnis-, sondern stärker prozessorientiert gedacht sein. Die Frage, die gestellt werden sollte, ist daher nicht ob die Anwendung einer KI-Lösung zu 100% diskriminierungsfrei ist, sondern ob ein Unternehmen, das bestmögliche getan hat, um nach dem aktuellen Stand der Technik und Wissenschaft Risiken zu identifizieren und entsprechende Mitigierungsmaßnahmen einzuleiten.
Konkrete Vorschläge: Regulatorik
Wir sprechen uns für Art. 29 a aus. Denn das Grundrechtassessment wäre ein wichtiges Vehikel, um die Übertretung von rechtlichen und ethischen Standards zu verhindern, aber auch um eine höhere Qualität von KI zu erreichen.
Der Fokus bei Art. 29a sollte mehr auf Prozessen und weniger auf Ergebnissen liegen. KI wird niemals vollkommen bias-frei sein; Datensätze können die Komplexität der realen Welt nicht vollständig abbilden. Der Fokus sollte darauf liegen, Unternehmen zur Anpassung von existierenden Prozesse zur Risikoevaluierung auf den Schwerpunkt Grundrechte und KI anzuhalten.
Unternehmen
Unternehmen sollten die grundrechtliche Folgenabschätzung als frühen Schritt im Lebenszyklus der KI verstehen. Qualitätsverbesserungen lassen sich hier mit Compliancemaßnahmen verbinden.
Gleichzeitig hilft die Folgenabschätzung zur Kommunikation von relevanten Risiken, die mit dem jeweiligen Anwendungsfall einhergehen. Diese Risiken sind vollkommen unterschiedlich und können schlecht in einen vordefinierten Katalog eingefasst werden.
--
Sie Interessieren sich mehr für dieses Thema oder würden gerne mit uns in den Austausch treten? Unser Experte Dr. Alexander Kriebitz freut sich auf Ihre Kontaktaufnahme.