Mit erklärbarer KI gegen Automatisierung von Vorurteilen
Die Interpretation von Kennzahlen und Messwerten ist ein wichtiger Faktor bei der Bestimmung von Fairness. Systematisches Datenqualitätsmanagement und erklärbare KI bieten Möglichkeiten, Vorurteile zu vermeiden, indem wir das Konzept der Fairness erklären: Dass es für Untergruppen genauso gilt wie für Einzelpersonen, und dass bestimmte Entscheidungen vielleicht sogar getroffen wurden, weil sie für den gesellschaftlichen Fortschritt notwendig waren. In vielerlei Hinsicht fördert die Erklärung der Entscheidungsfindung zudem das Vertrauen in unsere KI-Systeme. Diese Systeme haben das Potenzial, verschiedene Branchen und Industriezweige zu revolutionieren, aber sie müssen mit gesundem Menschenverstand und gerecht entwickelt und eingesetzt werden.
Transparenz ist entscheidend: Der Schöpfer eines technischen Werkzeugs kann den Algorithmus frei gestalten. Entscheidungen über sein Verhalten fallen dabei ausschließlich in die Hoheit des Betreibers. Auch Algorithmen von Plattformen wie der Google-Suche sind teilweise intransparent. Die Anbieter können Inhalte verändern oder nicht anzeigen. Künstliche Intelligenz fügt hier eine neue Dimension hinzu: Während KI-Methoden in der Vergangenheit typischerweise Modelle erforderten, die auf einen Anwendungsfall spezialisiert waren und auf exklusiven Trainingsdaten aufbauten, entsteht eine Generalisten-Generation von KI, also Anwendungen, die mehrere Aufgaben gleichzeitig beherrschen. Moderne KI kann z. B. einen langen technischen Text in wenigen Punkten zusammenfassen und einen komplexen Inhalt in einem anderen Stil paraphrasieren. Denken Sie auch an das sehr populäre ChatGTP. Es gibt keinen Hinweis darauf, auf welche Quellen sich die Antworten stützen, ob diese Quellen zuverlässig sind und welche anderen möglichen Quellen vernachlässigt wurden.
Eine Möglichkeit, die Fairness eines KI-Systems zu gewährleisten, besteht darin, die richtige Interpretation der Parameter sorgfältig zu prüfen. Es ist wichtig, nicht nur die Gesamtleistung der KI zu berücksichtigen, sondern auch die Leistung innerhalb bestimmter Untergruppen, die für Diskriminierung anfällig sein könnten. Ein Merkmal, das in der Realität mit der Wahrscheinlichkeit p beobachtet wird, sollte vom KI-System mit der gleichen Wahrscheinlichkeit p eingestuft werden, und zwar nicht nur für die Gesamtdaten, sondern auch innerhalb einzelner Untergruppen.
Um Fairness zu erreichen, muss auch sichergestellt werden, dass die Untergruppen das gleiche Verhältnis von falsch-positiven zu falsch-negativen Ergebnissen aufweisen. Dies kann zeitaufwändig sein, da alle Untergruppen untersucht werden müssen, anstatt eine Gesamtschlussfolgerung zu ziehen. Wir sollten falsch klassifizierte Fälle berücksichtigen, da die Toleranz für Fehlklassifizierungen von der jeweiligen Anwendung abhängt. Ist es beispielsweise akzeptabel, dass 5 % der fehlerfreien Produkte als fehlerhaft eingestuft werden oder dass 5 % der Personen fälschlicherweise die Einreise in ein Land verweigert wird? Diese Fragen sind besonders wichtig, wenn sich die Ergebnisse eines KI-Systems direkt auf das Leben einer Person auswirken, z. B. wenn ein KI-System entscheiden soll, wer einen neuen Arbeitsplatz bekommt.
Welche Fragestellung eignet sich zur automatischen Klassifizierung?
KI-Systeme liefern Ergebnisse, die über Kategorien wie gut oder schlecht hinausgehen. Eine KI z. B. zur Erkennung von Radfahrern kann immer auf ihre Leistung getestet werden, ob sie bei verschiedenen Personen, Fahrrädern, Umgebungen, Gruppen und Verhaltensweisen angemessen und in gleichem Maße funktioniert. Sie kann auch daraufhin getestet werden, ob sie systematische Probleme, also Verzerrungen für bestimmte Teile der Anwendung hat. Wenn sie zum Beispiel bei Personen mit Bärten und Piercings weniger gut funktioniert, ist diese Verzerrung leicht messbar, die in Voreingenommenheit resultiert.
Um diese Voreingenommenheit zu vermeiden, ist es wichtig, relevante Merkmale zu identifizieren und persönliche Informationen wie Alter, Geschlecht oder Nationalität stets zu entfernen. Wenn sich die Leistung des KI-Systems verringert, nachdem diese Merkmale entfernt wurden, ist es möglicherweise keine geeignete Lösung für die automatische Klassifizierung. Entwicklungs- und Testdatensätze sollten außerdem so vielfältig wie möglich sein, um sicherzustellen, dass es zu keiner Fehlklassifizierung von Einzelpersonen oder Gruppen kommt.
Um für die mögliche Verzerrung durch KI-Systeme zu sensibilisieren, ist es wichtig, Kunden und Beteiligte über diese Themen aufzuklären. Die Bedeutung von Fairness sollte für jedes Projekt spezifisch neu definiert werden. Dazu gehört und Kennzahlen einzuführen, um z. B. die Fehlklassifizierungen zu begrenzen. Daten zum Trainieren und Testen des KI-Systems müssen repräsentativ sein. Das bedeutet, dass wir Merkmale ausschließen, die zu Diskriminierung führen könnten. Auch die annotierten Daten, die nach der menschlichen Überprüfung übrigbleiben, müssen auf Voreingenommenheit überprüft werden.
Ein Ansatz zur Bewertung und Kontrolle der Fairness eines KI-Systems ist die Verwendung erklärbarer KI und aktiver menschlicher Kontrolle. Dazu gehört, dass eine vielfältige Gruppe von Testern das Modell mit unterschiedlichen Eingabedaten bewertet, Bewertungsmaßstäbe für Teilmengen von Daten definiert und einen Testsatz mit besonders problematischen Daten oder Proben erstellt. Dieser Testsatz kann mit Beispielen aus dem tatsächlichen System und Kommentaren von Nutzern angereichert werden, um sicherzustellen, dass das Modell während seiner Entwicklung und – wenn nötig – auch während des Betriebs fair und unparteiisch bleibt.
