Bericht enthüllt häufige Mängel in der KI-Governance: Viele beinhalten ineffektive KI-Lösungen.

Ein aktueller Bericht des World Privacy Forum hat wichtige Erkenntnisse über KI-Governance-Tools offengelegt, die von Regierungen und multilateralen Organisationen eingesetzt werden. Bei der Überprüfung von 18 dieser Tools stellte sich heraus, dass über ein Drittel (38 %) "fehlerhafte Lösungen" enthielt. Diese Instrumente, die zur Bewertung von KI-Systemen hinsichtlich Fairness und Erklärbarkeit entwickelt wurden, mangelten häufig an wesentlichen Qualitätsmechanismen oder verwendeten Bewertungsmethoden, die außerhalb ihrer ursprünglichen Kontexte als ungeeignet gelten.

Viele dieser Tools wurden von großen Technologiefirmen wie Microsoft, IBM und Google entwickelt – Unternehmen, die auch die KI-Systeme schaffen, die sie bewerten. So hebt der Bericht das KI Fairness 360-Tool von IBM hervor, das vom US Government Accountability Office für die Integration ethischer Prinzipien in KI unterstützt wird. Allerdings wurde die grundlegende Forschung zu seinem "Disparate Impact Remover-Algorithmus" in akademischen Kreisen stark kritisiert.

Pam Dixon, Gründerin und Geschäftsführerin des World Privacy Forum, äußerte: "Die meisten derzeit genutzten KI-Governance-Tools arbeiten ohne angemessene Standards." Sie wies auf ein erhebliches Problem hin: das Fehlen etablierter Qualitätsanforderungen. Werkzeuge, die für einen spezifischen Kontext gedacht sind, können fehlinterpretiert werden, was zu "Off-Label"-Anwendungen führt, die unvorhergesehene Konsequenzen nach sich ziehen können.

Der Bericht definiert KI-Governance-Tools als Mechanismen zur Bewertung und Messung von Aspekten von KI-Systemen, einschließlich Inklusivität, Fairness, Erklärbarkeit, Datenschutz und Sicherheit. Während diese Tools Regulierungsbehörden und der Öffentlichkeit Sicherheit bieten mögen, können sie unbeabsichtigt ein falsches Sicherheitsgefühl hervorrufen, ungewollte Probleme auslösen und das Potenzial von KI-Technologien untergraben.

Mit der kürzlichen Verabschiedung des EU AI Acts und Präsident Bidens KI-Einstiegsbefehl bietet sich eine zeitnahe Gelegenheit zur Verbesserung der KI-Governance-Landschaft, wie Kate Kaye, stellvertretende Direktorin des World Privacy Forum, anmerkt. "Obwohl wir einige Mängel identifiziert haben, besteht ein erhebliches Verbesserungspotenzial im KI-Governance-Ökosystem", bemerkte sie. "Diese Tools zeigen, wie Regierungen KI-Politiken umsetzen werden und spielen eine entscheidende Rolle bei der Umsetzung zukünftiger Gesetze und Vorschriften."

Kaye nannte auch ein Beispiel dafür, wie gute Absichten zu schlechten Ergebnissen führen können: die 'Vier-Fünftel'- oder 80%-Regel im US-Arbeitsrecht wird global in KI-Governance-Tools falsch angewendet. Diese Regel bewertet, ob Auswahlverfahren negative Auswirkungen auf bestimmte Gruppen haben, wurde jedoch auf Kontexte übertragen, die nichts mit Beschäftigung zu tun haben, was zu unangemessenen Anwendungen führt.

Angesichts des Drucks, KI-Regulierungen zu etablieren, warnte Kaye davor, fehlerhafte Methoden in politische Entscheidungen zu integrieren. Sie betonte das Risiko, bestehende Probleme durch hastige Implementierungen zu perpetuieren.

Für das Jahr 2024 sind sowohl Dixon als auch Kaye optimistisch bezüglich der Fortschritte bei KI-Governance-Tools. Dixon wies darauf hin, dass die Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) bereit ist, zusammenzuarbeiten, um diese Tools zu verbessern, was auf eine positive Richtung hinweist. Auch das National Institute of Standards and Technology (NIST) hat Interesse an der Entwicklung strenger, evidenzbasierter Standards bekundet. Mit gezielten Anstrengungen glauben sie, dass innerhalb von sechs Monaten bedeutende Verbesserungen in der KI-Governance-Landschaft erreicht werden können.