Künstliche Intelligenz wird als Schlüsseltechnologie der Gegenwart bezeichnet: Sie kann aus Daten lernen und dadurch Muster erstellen, die Probleme lösen, Vorhersagen oder Entscheidungen treffen und Aktionen schneller ausführen. Es gibt kaum noch Lebensbereiche, die nicht durch KI bzw. algorithmische Entscheidungssysteme (AES) unterstützt werden. Aber wie sieht der Einsatz von KI aus, wenn es um Gewalt im digitalen Raum geht? Hilft sie uns, Gewaltverbrechen aufzuklären und Betroffene besser zu schützen, oder wird sie als weiteres Werkzeug eingesetzt, um Hass und Hetze im Netz weiter voranzutreiben?

Digitale versus analoge Gewalt

Durch die Digitalisierung und die scheinbar unbegrenzten Möglichkeiten, die damit verbunden sind, nimmt auch Gewalt neue Formen an und verbreitet sich zunehmend im Internet. Digitale Gewalt ist dabei als eigenständiges Phänomen zu betrachten und nicht einfach als verlängerter Arm analoger Gewalt.

Denn digitale Gewalt unterscheidet sich grundlegend von analoger Gewalt: Digitale Gewalt kann sich sekundenschnell über geografische Grenzen hinweg verbreiten und ist nicht auf einen bestimmten physischen Ort oder ein direktes Umfeld festgelegt. Inhalte, die einmal im Internet verbreitet wurden, können dauerhaft bestehen bleiben. Auch wenn das ursprüngliche Material, z. B. aufgrund einer Strafanzeige, gelöscht worden ist, kann es durch Screenshots oder Weiterverbreitung weiterhin zugänglich sein. Während bei Gewalt im analogen Raum Täter*innen oftmals bekannt sind und aus dem näheren Umfeld des Opfers kommen, können Menschen im Internet anonym handeln, was deren Identifikation erschwert und das Gefühl von Straflosigkeit verstärken kann. Digitale Gewalt kann durch das Internet eine Vielzahl von Täter*innen involvieren, die sich an Shitstorms oder Mobbing beteiligen.

Deepfakes als neue Form KI-generierter Gewalt

Technologien wie künstliche Intelligenz ermöglichen zudem neue Formen der Gewalt, die über herkömmliche Erscheinungsformen hinausgehen und neue Dimensionen annehmen. Eine besonders populäre und besorgniserregende Form sind sogenannte Deepfakes (Englisches Wort aus den Begriffen „deep learning“ und „fake“). Deepfakes sind digital manipulierte Medieninhalte, meist Videos oder Bilder, bei denen Künstliche Intelligenz verwendet wird, um das Gesicht oder die Stimme einer Person täuschend echt durch eine andere zu ersetzen. Diese Technologie nutzt maschinelles Lernen, um realistische Fälschungen zu erstellen, die oft schwer von echten Inhalten zu unterscheiden sind. Deepfakes können für harmlose Zwecke wie Unterhaltung eingesetzt werden, werden aber zunehmend für politische Desinformation, Betrug oder sexualisierte Gewalt genutzt (Böttcher et al. 2024).

Zum Missbrauchspotenzial von Deepnudes

Eine besondere Form von Deepfakes sind sogenannte Deepnudes (zusammengesetzt aus dem Wort "deepfake" und dem englischen Wort "nude" für nackt). Deepnudes sind KI-generierte Nacktbilder, die sich einfach mit kostenlosen Apps herstellen lassen. Um ein manipuliertes Nacktbild zu erstellen, muss lediglich ein Foto einer bekleideten Person hochgeladen werden. Wenige Sekunden später produziert die Seite oder App ein manipuliertes Bild, auf dem es wirkt, als sei die Person in Unterwäsche, Bikini oder nackt. Um die manipulierten Bilder zu optimierten, gibt es eigens dafür eingerichtete Foren, in welchen Nutzer*innen darüber diskutieren, wie die besten Ergebnisse erzielt werden können. Von solchen Deepfakes betroffen sind in erster Linie Mädchen, Frauen oder queere Personen. Während die Betroffenen mit der erlebten Scham und Demütigung oftmals alleingelassen werden, bergen Deepnudes zusätzlich ein großes Missbrauchspotenzial und können für Mobbing oder Erpressung genutzt werden (vgl. Köver 2023).

Social Bots als Mittel antifeministischer Gewalt

Ein weiteres Beispiel für KI-generierten Hass bzw. die Unterstützung digitaler Gewalt durch künstliche Intelligenz zeigt sich am Beispiel feministischer Online-Aktivist*innen, die vehement von antifeministischer Gewalt betroffen sind (vgl. Roß 2024). In meiner Studie wurde deutlich, dass antifeministische Akteur*innen gezielt KI-generierte Tools einsetzen, um ihren Hass weiter zu verbreiten und den Eindruck zu vermitteln, dass sie viele sind (vgl. Roß 2024). Die Rede ist hier von Social Bots, von Programmen, die sich mithilfe von Algorithmen in sozialen Netzwerken bewegen und dort Beiträge posten, in diesem Fall Hasspostings. Durch ihre Aktivität wird Nutzer*innen suggeriert, dass hinter den Beiträgen echte Menschen stehen. In Wirklichkeit folgen die Bots jedoch einer im Programm festgelegten Leitlinie und versuchen unter Vernetzung mit anderen Bots und realen Nutzer*innen durch Kommentare, Likes und das Teilen von Postings die Reichweite bestimmter Beiträge zu erhöhen (vgl. Graber/Lindemann 2018).

Die Macht der Bots

Stephanie, ein*e feministisch*e Aktivist*in, erzählt mir im Interview, wie sich der Hass durch Social Bots verändert hat:

Und dann war da einfach der - also der - der Hass so schnell und so organisiert und krass auch mit Bots, und so (Stephanie, Pos. 373). […] Früher war das so, dann hatte man zwei, drei, vier blöde Kommentare aufm Blog, oder Antworten auf Twitter - oder zwei Mails, oder so. Und heute -- hat man dann direkt, irgendwie -- weiß ich nicht, hundert Bots, die einem ein und dieselbe Nachricht schicken, dadurch aber das komplette System irgendwie lahmlegen (Stephanie, Pos. 467).

Auch wenn die Aktivist*innen KI-generierten Hass identifizieren können und sich dadurch, wie in der Studie gezeigt wird, nicht einschüchtern lassen, so stellt sich die Frage, welche Macht Social Bots haben und inwiefern sie Diskurse manipulieren und Menschen einschüchtern können (vgl. Roß 2024).

KI im Kampf gegen (geschlechtsspezifische) Gewalt

In vielen Institutionen wird bereits mit KI gearbeitet, um digitale Gewalt und Hasskriminalität zu bekämpfen. So setzen deutsche Medienanstalten, deren Aufgabe es ist, Vielfalt und Meinungsfreiheit in den privaten Rundfunk- und Onlinemedien zu gewährleisten, auf den Einsatz Künstlicher Intelligenz. Eine eigens für die Medienaufsicht entwickelte KI soll die Arbeit der Medienaufsicht beschleunigen und verbessern, indem etwa das Internet nach Verstößen gegen die Menschenwürde, volksverhetzende Äußerungen oder die Verwendung von verfassungsfeindlichen Kennzeichen durchsucht wird. In NRW werden z. B. rechtsradikale und jugendgefährdende Inhalte automatisch aus 10.000 Seiten pro Tag herausgefiltert (vgl. Klüppel 2023).
Auch im präventiven Bereich findet KI seine Anwendung. Mithilfe von Algorithmen des maschinellen Lernens können KI-Systeme menschliches Verhalten, Social-Media-Hilfe-Nachrichten oder Notfalltelefonanrufe analysieren und mögliche Fälle (geschlechtsspezifischer) Gewalt erkennen. Künstlicher Intelligenz wird dabei das Potenzial zugesprochen, Lösungen in den Bereichen Prävention, Erkennung und Opferhilfe zu bieten.

Daten, Algorithmen und (digitale) Gewalt

Wenn über KI und Gewalt im digitalen Raum gesprochen wird, ist es unumgänglich auch über Biases in Daten und diskriminierende Algorithmen zu sprechen. Besonders deutlich wird dies aktuell im Kontext europäischer Migrationspolitik: An europäischen Außengrenzen werden KI-Systeme, wie z. B. „iBorder Ctrl“, eingesetzt, um herauszufinden, ob Geflüchtete die Wahrheit sagen. Diese Emotionserkennungssysteme, deren Einsatz in anderen Bereichen verboten ist, sind jedoch stark fehlerhaft und diskriminierend. So schätzen sie einer Studie zufolge Schwarze Basketballspieler auf Fotos als aggressiver ein als weiße Sportler (vgl. Rohrbach 2024).

Ähnliche Beispiele lassen sich im Kontext KI-generierter Gesichtserkennung wiederfinden. Da diese vorwiegend an weißen männlichen Probanden trainiert wird, weist sie insbesondere bei Frauen und People of Colour höhere Fehlerdaten auf. Dies kann zur Folge haben, dass z. B. eine Schwarze Frau zu Unrecht eines Verbrechens verdächtigt wird, weil sie der gesuchten Person ähnlich sieht. Und auch KI-Systeme, die Vorhersagen zur Rückfälligkeit von Straftäter*innen treffen, werden häufig mit historischen Daten trainiert, die bestehende Vorurteile und diskriminierende Praktiken widerspiegeln. Solche fehlerhaften Einschätzungen können härtere Strafen oder vermehrt Polizeikontrollen zur Folge haben.

Diese Beispiele machen deutlich, dass Auswahl der Daten, deren Qualität und Zusammensetzung großen Einfluss auf die Entscheidungen haben, die durch Algorithmen getroffen werden. Denn „Algorithmen, die auf Künstlicher Intelligenz basieren, […] finden Muster innerhalb von Datensätzen, die unsere eigenen Vorurteile widerspiegeln, und stellen dadurch unsere Vorurteile als allgemeingültige Wahrheit dar bzw. verstärken diese“ (Howard/Borenstein 2018, 1524). Es ist also wichtig, diese Perspektive aufzugreifen und zu verdeutlichen, an welcher Stelle der Entwicklung algorithmischer Entscheidungssysteme bereits Ungleichheiten und Diskriminierungen eingeschrieben sind, die auch zu Gewalt führen können.