Die Diskussion um Chancen und Risiken von Künstlicher Intelligenz (KI) ist in vollem Gange. Zwar werden Diskriminierungsrisiken durch KI in der Literatur diskutiert, das Licht fällt aber selten auf gleichstellungsrechtliche Aspekte. Studien zu den Diskriminierungsrisiken bei Verwendung von Algorithmen (ADS 2019) und automatischer Benachteiligung (ADS 2023) fordern dazu auf, dass Problem der algorithmischen Diskriminierung ernst zu nehmen.

Dieser Beitrag gibt einen Überblick über die Regulierung von KI und Gleichstellung in Deutschland, der Europäischen Union (EU) sowie den Vereinten Nationen (VN) und begibt sich auf die Suche nach „Gender“(-Equality) in den politischen und rechtlichen Vorschlägen.

Deutschland: KI und Gleichstellung

In Deutschland gibt es neben Leitlinien (Bundesregierung 2020) und KI Initiativen („Mission KI“) weder spezifische Regelungen für KI noch für algorithmische Diskriminierung (Deutscher Bundestag 2023). Jedoch gibt es Schutzlücken im Allgemeinen Antidiskriminierungsgesetz (AGG), die Anpassungen des AGG im Hinblick auf algorithmischen Diskriminierung erfordern (ADS 2023). Die Quintessenz der Studie in Bezug auf Deutschland reiht sich damit in frühere Plädoyers für KI-Regulierung im Europäischen Recht ein (Lütz 2022).

Die Studie stellt u. a. fest, dass die Antidiskriminierungsstelle (ADS) eine stärkere Rolle spielen sollte, beispielsweise durch die Schaffung von Auskunfts-, Untersuchungs- und Klagerechten und Vereinfachungen bei den Beweislastregeln, um die Führung von Beschwerden und Klagen bei algorithmischer Diskriminierung zu erleichtern. Auch wird vorgeschlagen, die Rolle der nationalen ADS im Anwendungsbereich des EU KI-Gesetzes festzuschreiben.

Der TÜV gründete 2023 das TÜV AI.Lab mit dem Ziel, regulatorische Anforderungen in die Praxis umzusetzen, Prüfverfahren für KI-Systeme und Standards zu entwickeln. Dies könnte zu KI-Gütesiegeln führen, um Vertrauen in KI-Systeme zu fördern, wobei nicht klar ist, inwieweit Gleichstellungsaspekte berücksichtigt werden. Wie beim Standardsetzungsprozess für den EU AI Act ist dies aber eine Notwendigkeit, um grundrechtskonforme KI-Systeme zu gewährleisten (Lütz 2023b).

EU AI Act und Gleichstellung

Im Dezember 2023 erfolgte eine politische Einigung beim EU AI Act, die vor der formellen Annahme durch Rat und Parlament auf Fachebene konkretisiert wird (Rat der EU 2023). Die vorläufige Einigung enthält vermutlich keine spezifischen Regelungen zu Gleichstellungsaspekten, obwohl teils vorgeschlagen (EU Parlament 2023). Der Ratsvorschlag sah in Artikel 10 Absatz 2 (f) vor, dass eine Untersuchung im Hinblick auf biases durchgeführt werden soll, um Diskriminierungen zu verhindern. Artikel 64 Absatz 3 sah insbesondere vor, dass nationale Stellen, wie die Antidiskriminierungsstelle des Bundes, befugt sind, Dokumente im Hinblick auf die Funktionsweise des KI-Systems anzufordern und einzusehen (Rat der EU 2022).

Am 24. Januar 2024 verabschiedete die Europäische Kommission eine Entscheidung zur Schaffung des neuen EU KI-Büros („European Artificial Intelligence Office“, Europäische Kommission 2024). Das EU KI-Büro ist neben den nationalen Behörden für die Umsetzung des zukünftigen EU AI Act zuständig und soll ausdrücklich europaweit, aber auch international mit relevanten Behörden kooperieren. Auch wenn sich in der Entscheidung keine konkreten Bezüge zur Gleichstellung finden, so wird generell auf das Risiko von Grundrechtsverletzungen durch KI-Anwendungen hingewiesen.Der AI Act wird über Europa hinaus Minimumstandards setzen, welche die Nutzung von KI-Systemen eingrenzt, auch bezüglich des Grundrechtsschutzes. Indirekt werden hierdurch gleichstellungsrechtliche Aspekte positiv beeinflusst, beispielsweise durch vorheriges Testen von KI-Systemen auf biases und Diskriminierungspotenzial. Es bleibt abzuwarten, ob die VN in ihrem KI-Governance-Prozess einen grösseren Schwerpunkt auf Gender legen, als dies die EU getan hat.  

Gender in den VN und im KI-Rat

Der KI-Rat der VN existiert seit Oktober 2023 und ist mit 20 Frauen fast paritätisch besetzt: „[T]he Body’s global, gender-balanced and interdisciplinary makeup will help it play a unique role in helping AI work for humanity“ (Vereinte Nationen 2023a). Jedoch ist fraglich, inwieweit eine paritätische Besetzung allein dazu beiträgt, Gender auf die Agenda des KI-Rats zu setzen, wenn ausgewiesene Expert:Innen im Bereich von Gleichstellung kaum vertreten sind. Hier lässt sich auf die Ausgestaltung des zukünftigen AI body und die Einbindung der Zivilgesellschaft hoffen.

Beim KI Bletchley Gipfel warnte Generalsekretär António Gutterres vor „loss of cultural diversity that could result from algorithms that perpetuate biases and stereotypes“ (Vereinte Nationen 2023b). Der Zwischenbericht des KI-Rats wurde im November 2023 veröffentlicht (VN KI-Rat 2023). Er befasst sich durchaus mit Gleichstellung, z. B. wird bei der Kategorisierung von verschiedenen Risiken die Gruppe des Diskriminierungs- und Ungleichbehandlungsrisikos aufgrund des Geschlechts explizit erwähnt.

Die Arbeit des KI-Rats identifiziert Gender als Querschnittsthema. Die Arbeitsgruppen Opportunities and Enablers und Risks and Challenges, Alignment with Norms and Values greifen Kernprobleme der KI aus Gleichstellungsperspektive auf. Die Bedeutung der KI für die VN schlägt sich nicht nur institutionell in der Schaffung des KI-Rats nieder, sondern manifestiert sich auch zunehmend in den Texten der UN Gremien (Lütz 2023a) und des jüngsten Entwurfs der USA für eine Resolution der UN Vollversammlung, die auf die Problematik von biases, digital divides, Diskriminierung durch Algorithmen hinweist (Vereinte Nationen 2023c, PP8).

Ausblick für Gleichstellung im algorithmischen Zeitalter

Es ist zu begrüssen, dass die Gender-Dimension im Hinblick auf KI und algorithmische Diskriminierung Einzug in die politische Diskussion gefunden hat. Nach der EU-Studie (Europäische Kommission 2021), hat sich auch Deutschland 2023 der Thematik angenommen (ADS Bund 2023). Der Europarat veröffentlichte 2023 eine Studie (Europarat 2023) zur Vorbereitung eines geplanten Rechtsinstruments. Die Gräben zwischen Studien und Regulierungsrealität sind allerdings noch tief.

Problematisch bei vielen Vorschlägen zur KI-Regulierung ist ihre horizontale Ausrichtung, welche auf spezifische Aspekte wie Gleichstellung nicht fokussiert ist. Deshalb bedarf es einer Reform des geltenden Antidiskriminierungsrechts oder eines neuen Rechtsrahmens, der die Wirklichkeit der algorithmischen Diskriminierung adressiert.

Beispiele von algorithmischer Diskriminierung und wissenschaftliche Studien (Lütz 2022) sind mehr als eine Einladung, den Fokus stärker auf Gender zu richten. Zudem bietet das stets durchzuführende öffentliche Konsultationsverfahren eine ideale Möglichkeit, um die Erfahrungen der Bürger:innen mit algorithmischer Diskriminierung aufgrund des Geschlechts zu hören.