27. Februar 2024 Fabian Lütz
Die Diskussion um Chancen und Risiken von Künstlicher Intelligenz (KI) ist in vollem Gange. Zwar werden Diskriminierungsrisiken durch KI in der Literatur diskutiert, das Licht fällt aber selten auf gleichstellungsrechtliche Aspekte. Studien zu den Diskriminierungsrisiken bei Verwendung von Algorithmen (ADS 2019) und automatischer Benachteiligung (ADS 2023) fordern dazu auf, dass Problem der algorithmischen Diskriminierung ernst zu nehmen.
Dieser Beitrag gibt einen Überblick über die Regulierung von KI und Gleichstellung in Deutschland, der Europäischen Union (EU) sowie den Vereinten Nationen (VN) und begibt sich auf die Suche nach „Gender“(-Equality) in den politischen und rechtlichen Vorschlägen.
Deutschland: KI und Gleichstellung
In Deutschland gibt es neben Leitlinien (Bundesregierung 2020) und KI Initiativen („Mission KI“) weder spezifische Regelungen für KI noch für algorithmische Diskriminierung (Deutscher Bundestag 2023). Jedoch gibt es Schutzlücken im Allgemeinen Antidiskriminierungsgesetz (AGG), die Anpassungen des AGG im Hinblick auf algorithmischen Diskriminierung erfordern (ADS 2023). Die Quintessenz der Studie in Bezug auf Deutschland reiht sich damit in frühere Plädoyers für KI-Regulierung im Europäischen Recht ein (Lütz 2022).
Die Studie stellt u. a. fest, dass die Antidiskriminierungsstelle (ADS) eine stärkere Rolle spielen sollte, beispielsweise durch die Schaffung von Auskunfts-, Untersuchungs- und Klagerechten und Vereinfachungen bei den Beweislastregeln, um die Führung von Beschwerden und Klagen bei algorithmischer Diskriminierung zu erleichtern. Auch wird vorgeschlagen, die Rolle der nationalen ADS im Anwendungsbereich des EU KI-Gesetzes festzuschreiben.
Der TÜV gründete 2023 das TÜV AI.Lab mit dem Ziel, regulatorische Anforderungen in die Praxis umzusetzen, Prüfverfahren für KI-Systeme und Standards zu entwickeln. Dies könnte zu KI-Gütesiegeln führen, um Vertrauen in KI-Systeme zu fördern, wobei nicht klar ist, inwieweit Gleichstellungsaspekte berücksichtigt werden. Wie beim Standardsetzungsprozess für den EU AI Act ist dies aber eine Notwendigkeit, um grundrechtskonforme KI-Systeme zu gewährleisten (Lütz 2023b).
EU AI Act und Gleichstellung
Im Dezember 2023 erfolgte eine politische Einigung beim EU AI Act, die vor der formellen Annahme durch Rat und Parlament auf Fachebene konkretisiert wird (Rat der EU 2023). Die vorläufige Einigung enthält vermutlich keine spezifischen Regelungen zu Gleichstellungsaspekten, obwohl teils vorgeschlagen (EU Parlament 2023). Der Ratsvorschlag sah in Artikel 10 Absatz 2 (f) vor, dass eine Untersuchung im Hinblick auf biases durchgeführt werden soll, um Diskriminierungen zu verhindern. Artikel 64 Absatz 3 sah insbesondere vor, dass nationale Stellen, wie die Antidiskriminierungsstelle des Bundes, befugt sind, Dokumente im Hinblick auf die Funktionsweise des KI-Systems anzufordern und einzusehen (Rat der EU 2022).
Am 24. Januar 2024 verabschiedete die Europäische Kommission eine Entscheidung zur Schaffung des neuen EU KI-Büros („European Artificial Intelligence Office“, Europäische Kommission 2024). Das EU KI-Büro ist neben den nationalen Behörden für die Umsetzung des zukünftigen EU AI Act zuständig und soll ausdrücklich europaweit, aber auch international mit relevanten Behörden kooperieren. Auch wenn sich in der Entscheidung keine konkreten Bezüge zur Gleichstellung finden, so wird generell auf das Risiko von Grundrechtsverletzungen durch KI-Anwendungen hingewiesen.Der AI Act wird über Europa hinaus Minimumstandards setzen, welche die Nutzung von KI-Systemen eingrenzt, auch bezüglich des Grundrechtsschutzes. Indirekt werden hierdurch gleichstellungsrechtliche Aspekte positiv beeinflusst, beispielsweise durch vorheriges Testen von KI-Systemen auf biases und Diskriminierungspotenzial. Es bleibt abzuwarten, ob die VN in ihrem KI-Governance-Prozess einen grösseren Schwerpunkt auf Gender legen, als dies die EU getan hat.
Gender in den VN und im KI-Rat
Der KI-Rat der VN existiert seit Oktober 2023 und ist mit 20 Frauen fast paritätisch besetzt: „[T]he Body’s global, gender-balanced and interdisciplinary makeup will help it play a unique role in helping AI work for humanity“ (Vereinte Nationen 2023a). Jedoch ist fraglich, inwieweit eine paritätische Besetzung allein dazu beiträgt, Gender auf die Agenda des KI-Rats zu setzen, wenn ausgewiesene Expert:Innen im Bereich von Gleichstellung kaum vertreten sind. Hier lässt sich auf die Ausgestaltung des zukünftigen AI body und die Einbindung der Zivilgesellschaft hoffen.
Beim KI Bletchley Gipfel warnte Generalsekretär António Gutterres vor „loss of cultural diversity that could result from algorithms that perpetuate biases and stereotypes“ (Vereinte Nationen 2023b). Der Zwischenbericht des KI-Rats wurde im November 2023 veröffentlicht (VN KI-Rat 2023). Er befasst sich durchaus mit Gleichstellung, z. B. wird bei der Kategorisierung von verschiedenen Risiken die Gruppe des Diskriminierungs- und Ungleichbehandlungsrisikos aufgrund des Geschlechts explizit erwähnt.
Die Arbeit des KI-Rats identifiziert Gender als Querschnittsthema. Die Arbeitsgruppen Opportunities and Enablers und Risks and Challenges, Alignment with Norms and Values greifen Kernprobleme der KI aus Gleichstellungsperspektive auf. Die Bedeutung der KI für die VN schlägt sich nicht nur institutionell in der Schaffung des KI-Rats nieder, sondern manifestiert sich auch zunehmend in den Texten der UN Gremien (Lütz 2023a) und des jüngsten Entwurfs der USA für eine Resolution der UN Vollversammlung, die auf die Problematik von biases, digital divides, Diskriminierung durch Algorithmen hinweist (Vereinte Nationen 2023c, PP8).
Ausblick für Gleichstellung im algorithmischen Zeitalter
Es ist zu begrüssen, dass die Gender-Dimension im Hinblick auf KI und algorithmische Diskriminierung Einzug in die politische Diskussion gefunden hat. Nach der EU-Studie (Europäische Kommission 2021), hat sich auch Deutschland 2023 der Thematik angenommen (ADS Bund 2023). Der Europarat veröffentlichte 2023 eine Studie (Europarat 2023) zur Vorbereitung eines geplanten Rechtsinstruments. Die Gräben zwischen Studien und Regulierungsrealität sind allerdings noch tief.
Problematisch bei vielen Vorschlägen zur KI-Regulierung ist ihre horizontale Ausrichtung, welche auf spezifische Aspekte wie Gleichstellung nicht fokussiert ist. Deshalb bedarf es einer Reform des geltenden Antidiskriminierungsrechts oder eines neuen Rechtsrahmens, der die Wirklichkeit der algorithmischen Diskriminierung adressiert.
Beispiele von algorithmischer Diskriminierung und wissenschaftliche Studien (Lütz 2022) sind mehr als eine Einladung, den Fokus stärker auf Gender zu richten. Zudem bietet das stets durchzuführende öffentliche Konsultationsverfahren eine ideale Möglichkeit, um die Erfahrungen der Bürger:innen mit algorithmischer Diskriminierung aufgrund des Geschlechts zu hören.
Literatur
Bundesregierung (2020). Strategie Künstliche Intelligenz der Bundesregierung - Fortschreibung 2020. Zugriff am 19.01.2024 unter https://www.bundesregierung.de/breg-de/service/publikationen/strategie-kuenstliche-intelligenz-der-bundesregierung-fortschreibung-2020-1824642.
Deutscher Bundestag (2023). Wissenschaftlicher Dienst, Regulierung von künstlicher Intelligenz in Deutschland. Zugriff am 19.01.2024 unter https://www.bundestag.de/resource/blob/940164/51d5380e12b3e121af9937bc69afb6a7/WD-5-001-23-pdf-data.pdf.
Europäische Kommission. 2021. Directorate-General for Justice and Consumers, Gerards, Jannke; Xenidis, Raphaële, Algorithmic discrimination in Europe – Challenges and opportunities for gender equality and non-discrimination law, Publications Office. Zugriff am 19.01.2024 unter https://data.europa.eu/doi/10.2838/544956
Europäische Kommission. 2024. Commission Decision Establishing the European AI Office, C(2024) 390 final. Zugriff am 19.01.2024 unter https://ec.europa.eu/newsroom/dae/redirection/document/101625
Europarat (2023). Study on the impact of artificial intelligence systems, their potential for promoting equality, including gender equality, and the risks they may cause in relation to non-discrimination. Zugriff am 19.01.2024 unter https://rm.coe.int/prems-112923-gbr-2530-etude-sur-l-impact-de-ai-web-a5-1-2788-3289-7544/1680ac7936.
Lütz, Fabian (2023a). Gender Equality and Algorithms: HRC Resolution on New and Emerging Technologies, in: blog interdisziplinäre geschlechterforschung, 05.09.2023, www.gender-blog.de/beitrag/gender-equality-algorithms-hrc-resolution. https://doi.org/10.17185/gender/20230905
Lütz, Fabian (2023b). Gender Equality and Algorithmic Discrimination: the contribution of the EU standardisation request on AI. (2023). Ex/Ante, 2023(2), 4-15. Zugriff am 19.01.2024 unter https://ex-ante.ch/index.php/exante/article/view/231.
Lütz, Fabian (2022). Gender equality and artificial intelligence in Europe. Addressing direct and indirect impacts of algorithms on gender-based discrimination. ERA Forum 23, 33–52. https://doi.org/10.1007/s12027-022-00709-6
Spiecker gen. Döhmann, Indra; Towfigh, Emanuel V. (2023). Automatisch benachteiligt, Das Allgemeine Gleichbehandlungsgesetz und der Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme Rechtsgutachten im Auftrag der Antidiskriminierungsstelle des Bundes (ADS 2023). Zugriff am 19.01.2024 unter https://www.antidiskriminierungsstelle.de/SharedDocs/downloads/DE/publikationen/Rechtsgutachten/schutz_vor_diskriminierung_durch_KI.pdf?__blob=publicationFile&v=1.
Orwat, Carsten (2019). Diskriminierungsrisiken durch Verwendung von Algorithmen (ADS 2019). Zugriff am 19.01.2024 unter https://www.antidiskriminierungsstelle.de/SharedDocs/downloads/DE/publikationen/Expertisen/studie_diskriminierungsrisiken_durch_verwendung_von_algorithmen.html.
Rat der Europäischen Union (2023). Zugriff am 19.01.2024 unter https://www.consilium.europa.eu/de/press/press-releases/2023/12/09/artificial-intelligence-act-council-and-parliament-strike-a-deal-on-the-first-worldwide-rules-for-ai/.
Rat der Europäischen Union (2022). Allgemeine Ausrichtung zum KI-Gesetz. Zugriff am 19.01.2024 unter https://data.consilium.europa.eu/doc/document/ST-14954-2022-INIT/de/pdf.
Europäisches Parlament (2022). Angenommene Texte, Gesetz über Künstliche Intelligenz. Zugriff am 19.01.2024 unter https://www.europarl.europa.eu/doceo/document/TA-9-2023-0236_DE.pdf.
Vereinte Nationen KI-Rat (2023). Interim Report: Governing AI for humanity. Zugriff am 19.01.2024 unter https://www.un.org/techenvoy/sites/www.un.org.techenvoy/files/ai_advisory_body_interim_report.pdf.
Vereinte Nationen (2023a). Zugriff am 19.01.2024 unter https://www.un.org/sites/un2.un.org/files/231025_press-release-aiab.pdf.
Vereinte Nationen (2023b). Zugriff am 19.01.2024 unter https://www.un.org/sg/en/content/sg/statement/2023-11-02/secretary-generals-statement-the-uk-ai-safety-summit.
Vereinte Nationen (2023c). Seizing the Opportunities of Safe, Secure, and Trustworthy Artificial Intelligence Systems for Sustainable Development, UNGA Draft Resolution, reported by Axios. Zugriff am 19.01.2024 unter https://www.documentcloud.org/documents/24220144-draft-unga-plenary-resolution-on-ai_20231211.
Zitation: Fabian Lütz: Regulierung von KI: auf der Suche nach „Gender“, in: blog interdisziplinäre geschlechterforschung, 27.02.2024, www.gender-blog.de/beitrag/regulierung-ki-gender/, DOI: https://doi.org/10.17185/gender/20240227
Beitrag (ohne Headergrafik) lizensiert unter einer Creative Commons Namensnennung 4.0 International Lizenz