Der zunehmende Einsatz von Künstlicher Intelligenz (KI) in verschiedenen gesellschaftlichen Bereichen hat die Diskussion über tradierte Vorurteile und Diskriminierungsmechanismen weiter intensiviert. Der Fokus dieses Beitrags liegt auf einer kritischen Analyse der Faktoren, die diese Mechanismen verstärken. Im Kontext der rechtlichen Einbettung des Themas beleuchten wir zudem die regulatorischen Rahmenbedingungen, die den Einsatz von KI steuern und prägen, und stellen dabei aktuelle Entwicklungen in den USA und in der EU in den Mittelpunkt.

Die Objektivität der Maschine ist eine Illusion

Neben der KI, die uns alle stetig umgibt, die uns ohne Umwege zum Ziel bringt oder unsere Mails vorsortiert, wird Künstliche Intelligenz zunehmend eingesetzt, um auf unterschiedlichen gesellschaftlichen Ebenen Vorhersagen über zukünftige Ereignisse zu treffen. Von der Wettervorhersage über den Finanzmarkt bis hin zur medizinischen Diagnose versprechen KI-Systeme eine präzisere Vorhersage und Entscheidungsfindung, basierend auf historischen Trainingsdatensätzen. Dabei gründen viele dieser Systeme auf Algorithmen des maschinellen Lernens, die historische Daten analysieren und Muster erkennen, um Vorhersagen zu treffen. Die vermeintliche Unvoreingenommenheit, Neutralität oder Objektivität der Maschine ist jedoch eine Illusion, im Gegenteil neigen derzeitige KI-Systeme dazu, bestehende Muster zu reproduzieren und mithin Ungleichheiten und Machtgefälle zu tradieren: „Algorithms are opinions embedded in code“ (O’Neil 2017; vgl. z. B. auch Eubanks 2018).

Der (breite) Diskurs um KI ist eingebettet in den gesellschaftlichen Aushandlungsprozess um Deutungshoheiten, hegemoniale Macht- und Herrschaftsverhältnisse. In der aktuellen Technologielandschaft dominieren oft große Tech-Unternehmen und -Akteure aus dem globalen Norden die Erzählung. Diese haben die Ressourcen und die Macht, ihre Perspektiven bzw. Interessen in den Vordergrund zu stellen. Andere Stimmen, insbesondere aus marginalisierten oder minorisierten Gruppen, bleiben unterrepräsentiert. Das narrative Machtgefälle wird weiter verstärkt durch die mangelnde Vielfalt in den Teams, die KI entwickeln. Wenn hauptsächlich weiße, cis-männliche Perspektiven aus ressourcenstarken Regionen in die Entwicklung einfließen, bleiben andere Perspektiven und Bedürfnisse unberücksichtigt (vgl. u. a. Varon et al. 2021).

Daten sind keine Fakten

Narrative Machtgefälle manifestieren sich auch in den Daten, die zur Entwicklung von KI als soziotechnische Systeme verwendet werden. Diese Daten sind oft das Produkt von historischen Machtverhältnissen und sozialen Strukturen, die bestimmte Gruppen systematisch benachteiligen. Deshalb sind die historischen Daten eher als Brennglas zu verstehen, in dem sich implizite und explizite Vorurteile, Diskriminierung oder soziale Ungleichheiten niederschlagen. Dies führt zu einem Teufelskreis, in dem die Vergangenheit die Zukunft vorhersagt und somit die bestehenden Machtgefüge und Ungleichheiten zementiert oder sogar verstärkt werden (vgl. u. a. West et al. 2019).

Die Ansätze aus den kritischen und feministischen Datenwissenschaften liefern hier weitere wertvolle Anknüpfungspunkte. So gehen D’Ignazio und Klein (2020) in ihrem Standardwerk Data Feminism von dem Grundsatz aus, dass Daten nie neutral oder objektiv, sondern als das Produkt komplexer sozialer Prozesse zu verstehen sind. Daten sind das Produkt von Entscheidungen (während der Datensammlung, -bereinigung und -analyse, im Rahmen von Priorisierung und Visualisierung sowie im Bereich der Bereitstellung) – und diese Entscheidungen werden vor dem Hintergrund eines bestimmten Werteverständnisses getroffen. So entstehen Datensätze, die unvollständig oder fehlerhaft sind.

Daten sind keine Fakten, ergeben keine linearen Ergebnisse, sie beinhalten strukturelle Biases und entstehen im Kontext vorherrschender Macht- und Herrschaftssysteme. Ziel sollte daher sein, multiple, plurale Perspektiven darzustellen, den eigenen Standpunkt zu reflektieren, an Datensätze und Schlussfolgerungen daraus kritisch heranzugehen sowie marginalisierte Gruppen und ihre Bedürfnisse zu priorisieren.

Divergenz zwischen den USA und der EU im Umgang mit KI

In den USA führt die Präsidentschaftsübernahme Donald Trumps zu veränderten Policies. Ein aktuelles Beispiel ist die Entscheidung von Donald Trump, die von Joe Biden erlassene „Executive Order on Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence (14110)“ zu widerrufen. Diese Richtlinie verpflichtete Entwickler großer KI-Modelle in den USA u. a. dazu, Ergebnisse von Sicherheitstests an Behörden weiterzugeben. Auch auf Diskriminierungsrisiken wird Bezug genommen. Der Widerruf markiert eine Rückkehr zu einer Laissez-faire-Haltung im Umgang mit KI. Zeitgleich stellt Trump staatliche DEI-Programme (Diversity, Equity, and Inclusion) ein und vertritt zudem ein binäres Geschlechterverständnis.

Die EU hat dagegen in den vergangenen Jahren Digitalregulierung vorangetrieben, um (auch) Gefahren und Risiken von KI einzudämmen. So sieht der europäische AI Act Qualitätsanforderungen an KI-Trainingsdatensätze vor. Diese sollen u. a. mit Blick auf mögliche Biases analysiert werden, um Diskriminierungsrisiken zu erkennen. US-amerikanische Anbieter, die ihre KI-Modelle in der EU vertreiben, unterliegen aufgrund des Marktortprinzips des europäischen AI Acts (Art. 2) den Anforderungen dieser EU-Regulierungen.

Darüber hinaus bestehen mit der Datenschutzgrundverordnung (DSGVO), dem Digital Services Act (DSA) und dem Digital Markets Act (DMA) umfangreiche rechtliche Vorgaben. Mit diesem Rechtsrahmen sind die ethischen und rechtlichen Standards in der EU im Vergleich zur USA deutlich höher. Entweder die betroffenen Anbieter passen ihre Modelle an die strikten europäischen Vorgaben an oder sie müssen auf den europäischen Markt verzichten bzw. mit Bußgeldern rechnen. Auf lange Sicht besteht die Gefahr, dass die europäischen Standards zugunsten einer vermeintlichen Wettbewerbsfähigkeit verwässert werden.

Welche Verantwortung trägt die KI-Governance?

Ethische Standards wie die UNESCO-Empfehlung zur Ethik der Künstlichen Intelligenz halten zur Minimierung von Diskriminierungsrisiken fest, dass Trainingsdaten möglichst keine gesellschaftlichen Ungleichheiten und Vorurteile abbilden sollen. Für Hochrisiko-KI-Systeme (bspw. bestimmte KI-Systeme, die im Recruiting oder im medizinischen Bereich eingesetzt werden) stellt Art. 10 AI Act rechtlich bindende Qualitätsanforderungen an Trainingsdatensätze. Diese sollen mit Blick auf die Zielgruppe eines KI-Systems „hinreichend repräsentativ“ sein. Zudem sollen mögliche Verzerrungen in Trainingsdatensätzen, die zu Diskriminierung führen können, durch entsprechende Überprüfungen aufgedeckt werden.

Aufgrund fehlender weiterer Konkretisierung ist nicht davon auszugehen, dass der AI Act einen eigenständigen Diskriminierungsbegriff beinhaltet, der KI-spezifische Faktoren berücksichtigt. Stattdessen wird das allgemeine Diskriminierungsverständnis des EU-Rechts heranzuziehen sein, das bezüglich Diskriminierungsrisiken von KI einige Schutzlücken aufweist (für Deutschland: Antidiskriminierungsstelle des Bundes 2023).

Unter anderem erschwert der EU-rechtlich determinierte Diskriminierungsbegriff, intersektionale Ebenen einzubeziehen (vgl. dazu die Entscheidung des EuGH in der Rs Parris). Grundsätzlich wird eine individuelle Betroffenheit einer Person vorausgesetzt, da andernfalls definitionsgemäß keine Diskriminierung vorliegt. Beim Einsatz von KI-Systemen liegt eine solche aber häufig eben nicht vor, bspw. wenn KI-generierte Inhalte gesellschaftliche Stereotype widerspiegeln, die in Trainingsdaten enthalten sind. In dieser Hinsicht ist im AI Act eine deutliche Leerstelle zu erkennen (vgl. Müller 2024).

Die Zukunft der KI zwischen Marktlogik, Machtinteressen und sozialer Gerechtigkeit

Die geopolitische Dimension zeigt, wie technologische Entwicklungen nicht nur durch Marktlogiken, sondern auch durch Machtinteressen und politische Agenden geprägt werden. Während die EU auf ein reguliertes und vertrauensbasiertes Modell setzt, könnten die USA durch ihren Deregulierungsansatz kurzfristige Innovationsvorteile erzielen – allerdings auf Kosten von Antidiskriminierung, Transparenz und Sicherheit. Ein genauerer Blick auf den europäischen AI Act zeigt, dass KI-Regulierung nur dann ihr volles Potenzial entfalten kann, wenn zugrunde liegende gesellschaftliche Ungleichheiten ausreichend Berücksichtigung finden und gezielt bekämpft werden.