Why Tech Companies Keep Making Racist Mistakes With AI

Der Head-Tracking-Algorithmus des Autors aus dem Jahr 1998 nutzte die Hautfarbe, um ein Gesicht vom Hintergrund eines Bildes zu unterscheiden.

Der Head-Tracking-Algorithmus des Autors aus dem Jahr 1998 nutzte die Hautfarbe, um ein Gesicht vom Hintergrund eines Bildes zu unterscheiden.
Foto: Quelle: John MacCormick, CC BY-ND

1998 habe ich unbeabsichtigt einen rassistisch voreingenommenen Algorithmus für künstliche Intelligenz entwickelt. Es gibt Lehren aus dieser Geschichte, die heute noch stärker nachhallen.

Die Gefahren von Voreingenommenheit und Fehler in KI-Algorithmen sind mittlerweile allgemein bekannt. Warum gab es dann in den letzten Monaten eine Reihe von Fehlern bei Technologieunternehmen, insbesondere in der Welt der KI-Chatbots und Bildgeneratoren? Erste Versionen von ChatGPT erstellt rassistische Ausgabe. Die Bildgeneratoren DALL-E 2 und Stable Diffusion wurden beide angezeigt rassistische Vorurteile in den Bildern, die sie erstellt haben.

Meine eigene Offenbarung als weißer Mann Informatiker ereignete sich während des Unterrichts eines Informatikkurses im Jahr 2021. Die Klasse hatte sich gerade ein Videogedicht von Joy Buolamwini angesehen. KI-Forscher und Künstler und das Selbstbeschriebene Dichter des Codes. Ihr Videogedicht aus dem Jahr 2019 „KI, bin ich nicht eine Frau?„ist eine vernichtende dreiminütige Darstellung rassistischer und geschlechtsspezifischer Vorurteile in automatischen Gesichtserkennungssystemen – Systemen, die von Technologieunternehmen wie Google und Microsoft entwickelt wurden.

Bei farbigen Frauen scheitern die Systeme oft und kennzeichnen sie fälschlicherweise als männlich. Einige der Misserfolge sind besonders eklatant: Die Haare der schwarzen Bürgerrechtlerin Ida B. Wells werden als „Waschbärfellmütze“ bezeichnet; Einer anderen schwarzen Frau wird ein „Walrossschnurrbart“ zugeschrieben.

Im Laufe der Jahre widerhallend

Ich hatte in diesem Informatikkurs ein schreckliches Déjà-vu-Erlebnis: Mir fiel plötzlich ein, dass auch ich einmal einen rassistisch voreingenommenen Algorithmus entwickelt hatte. 1998 war ich Doktorand. Bei meinem Projekt ging es darum, die Bewegungen des Kopfes einer Person anhand der Eingaben einer Videokamera zu verfolgen. Mein Doktorvater hatte sich bereits entwickelt mathematische Techniken um dem Kopf in bestimmten Situationen genau zu folgen, aber das System musste viel schneller und robuster sein. Anfang der 1990er Jahre Forscher in anderen Laboren hatte gezeigt, dass hautfarbene Bereiche eines Bildes in Echtzeit extrahiert werden können. Deshalb haben wir uns entschieden, uns auf die Hautfarbe als zusätzlichen Hinweis für den Tracker zu konzentrieren.

Ich habe mit einer Digitalkamera – damals noch eine Seltenheit – ein paar Aufnahmen von meiner eigenen Hand und meinem Gesicht gemacht, außerdem habe ich die Hände und Gesichter von zwei oder drei anderen Personen fotografiert, die sich zufällig im Gebäude aufgehalten haben. Es war einfach, einige der hautfarbenen Pixel manuell aus diesen Bildern zu extrahieren und ein statistisches Modell für die Hautfarben zu erstellen. Nach einigen Optimierungen und Debugging hatten wir eine überraschend robuste Echtzeit Head-Tracking-System.

Nicht lange danach bat mich mein Berater, das System einigen Führungskräften des Unternehmens zu demonstrieren, die zu Besuch waren. Als sie den Raum betraten, überkam mich sofort Angst: Die Führungskräfte waren Japaner. In meinem lockeren Experiment, um zu sehen, ob ein einfaches statistisches Modell mit unserem Prototyp funktionieren würde, hatte ich Daten von mir selbst und einer Handvoll anderer Personen gesammelt, die sich zufällig im Gebäude aufhielten. Aber 100 % dieser Probanden hatten „weiße“ Haut; Die japanischen Führungskräfte taten dies nicht.

Wie durch ein Wunder funktionierte das System bei den Führungskräften trotzdem einigermaßen gut. Aber ich war schockiert über die Erkenntnis, dass ich ein rassistisch voreingenommenes System geschaffen hatte, das für andere nichtweiße Menschen leicht hätte scheitern können.

Privilegien und Prioritäten

Wie und warum produzieren gut ausgebildete Wissenschaftler mit guten Absichten voreingenommene KI-Systeme? Soziologische Privilegientheorien bieten eine nützliche Linse.

Zehn Jahre bevor ich das Head-Tracking-System entwickelte, schlug die Wissenschaftlerin Peggy McIntosh die Idee eines „unsichtbarer Rucksack” von Weißen herumgetragen. Im Inneren des Rucksacks befindet sich eine Schatztruhe an Privilegien wie „Ich kann in einer herausfordernden Situation gute Leistungen erbringen, ohne als Verdienst meiner Rasse angesehen zu werden“ und „Ich kann unsere Regierung kritisieren und darüber sprechen, wie sehr ich ihre Politik und ihr Verhalten fürchte, ohne es zu sein.“ als kultureller Außenseiter angesehen.“

Im Zeitalter der KI braucht dieser Rucksack einige neue Dinge, wie zum Beispiel „KI-Systeme liefern aufgrund meiner Rasse keine schlechten Ergebnisse.“ Der unsichtbare Rucksack eines weißen Wissenschaftlers würde außerdem Folgendes benötigen: „Ich kann ein KI-System basierend auf meinem eigenen Aussehen entwickeln und weiß, dass es für die meisten meiner Benutzer gut funktionieren wird.“

Das Videogedicht der KI-Forscherin und Künstlerin Joy Buolamwini „AI, Ain’t I a Woman?“

Ein empfohlenes Mittel gegen die Privilegien der Weißen besteht darin, aktiv zu sein Anti rassistisch. Für das Head-Tracking-System von 1998 mag es offensichtlich erscheinen, dass das Mittel gegen Rassismus darin besteht, alle Hautfarben gleich zu behandeln. Natürlich können und sollten wir sicherstellen, dass die Trainingsdaten des Systems die Bandbreite aller Hautfarben möglichst gleichmäßig abbilden.

Dies garantiert leider nicht, dass alle vom System beobachteten Hautfarben gleich behandelt werden. Das System muss jede mögliche Farbe als Haut oder Nicht-Haut klassifizieren. Daher gibt es Farben direkt an der Grenze zwischen Haut und Nicht-Haut – einem Bereich, den Informatiker als Entscheidungsgrenze bezeichnen. Eine Person, deren Hautfarbe diese Entscheidungsgrenze überschreitet, wird falsch eingestuft.

Wissenschaftler stehen auch vor einem bösen unbewussten Dilemma, wenn sie Vielfalt in Modelle für maschinelles Lernen integrieren: Vielfältige, inklusive Modelle schneiden schlechter ab als engstirnige Modelle.

Eine einfache Analogie kann dies erklären. Stellen Sie sich vor, Sie hätten die Wahl zwischen zwei Aufgaben. Aufgabe A besteht darin, eine bestimmte Baumart zu identifizieren – beispielsweise Ulmen. Aufgabe B besteht darin, fünf Baumarten zu identifizieren: Ulme, Esche, Robinie, Buche und Walnuss. Es ist offensichtlich, dass Sie bei Aufgabe A eine bessere Leistung erbringen als bei Aufgabe B, wenn Ihnen eine festgelegte Zeit zum Üben gegeben wird.

Ebenso ist ein Algorithmus, der nur weiße Haut erfasst, genauer als ein Algorithmus, der die gesamte Palette menschlicher Hautfarben erfasst. Auch wenn Wissenschaftler sich der Notwendigkeit von Diversität und Gerechtigkeit bewusst sind, können sie unbewusst von diesem konkurrierenden Bedürfnis nach Genauigkeit beeinflusst werden.

Versteckt in den Zahlen

Meine Entwicklung eines voreingenommenen Algorithmus war gedankenlos und möglicherweise beleidigend. Noch besorgniserregender ist, dass dieser Vorfall zeigt, wie Voreingenommenheit tief in einem KI-System verborgen bleiben kann. Um herauszufinden, warum, betrachten Sie eine bestimmte Menge von 12 Zahlen in einer Matrix aus drei Zeilen und vier Spalten. Wirken sie rassistisch? Der von mir 1998 entwickelte Head-Tracking-Algorithmus wird durch eine solche Matrix gesteuert, die das Hautfarbenmodell beschreibt. Aber allein anhand dieser Zahlen lässt sich nicht sagen, dass es sich tatsächlich um eine rassistische Matrix handelt. Es handelt sich lediglich um Zahlen, die von einem Computerprogramm automatisch ermittelt werden.

Diese Matrix ist das Herzstück des Hautfarbenmodells des Autors aus dem Jahr 1998. Erkennen Sie den Rassismus?

Diese Matrix ist das Herzstück des Hautfarbenmodells des Autors aus dem Jahr 1998. Erkennen Sie den Rassismus?
Bild: John MacCormick, CC BY-ND

Bild zum Artikel mit dem Titel „Ich habe vor 25 Jahren einen voreingenommenen KI-Algorithmus entwickelt“ – Technologieunternehmen machen immer noch den gleichen Fehler.

Das Problem, dass Voreingenommenheit in aller Öffentlichkeit verborgen bleibt, ist in modernen Systemen des maschinellen Lernens viel schwerwiegender. Tiefe neuronale Netze – derzeit die beliebteste und leistungsstärkste Art von KI-Modellen – verfügen oft über Millionen von Zahlen, in denen Voreingenommenheit kodiert werden könnte. Die in „AI, Ain’t I a Woman?“ kritisierten voreingenommenen Gesichtserkennungssysteme sind alles tiefe neuronale Netze.

Die gute Nachricht ist, dass sowohl in der Wissenschaft als auch in der Industrie bereits große Fortschritte bei der KI-Fairness erzielt wurden. Microsoft hat beispielsweise eine Forschungsgruppe namens SCHICKSAL, gewidmet Fairness, Rechenschaftspflicht, Transparenz und Ethik in der KI. Eine führende Konferenz zum Thema maschinelles Lernen, NeurIPS, hat dies ausführlich dargelegt Ethikrichtlinieneinschließlich einer Acht-Punkte-Liste negativer sozialer Auswirkungen, die von Forschern berücksichtigt werden müssen, die Arbeiten einreichen.

Wer im Raum ist, ist derjenige, der am Tisch sitzt

Andererseits kann Fairness auch im Jahr 2023 noch Opfer des Wettbewerbsdrucks in Wissenschaft und Industrie werden. Das Fehlerhafte Bard- und Bing-Chatbots von Google und Microsoft sind jüngste Beweise für diese düstere Realität. Die kommerzielle Notwendigkeit, Marktanteile aufzubauen, führte zur vorzeitigen Veröffentlichung dieser Systeme.

Die Systeme haben genau die gleichen Probleme wie mein Headtracker von 1998. Ihre Trainingsdaten sind voreingenommen. Sie werden von einer nicht repräsentativen Gruppe entworfen. Sie stehen vor der mathematischen Unmöglichkeit, alle Kategorien gleich zu behandeln. Sie müssen irgendwie Genauigkeit gegen Fairness eintauschen. Und ihre Vorurteile verbergen sich hinter Millionen unergründlicher numerischer Parameter.

Wie weit hat sich der KI-Bereich also wirklich entwickelt, seit es vor über 25 Jahren für einen Doktoranden möglich war, die Ergebnisse eines rassistisch voreingenommenen Algorithmus zu entwerfen und zu veröffentlichen, ohne dass es offensichtlich zu einem Versehen oder zu Konsequenzen kam? Es ist klar, dass voreingenommene KI-Systeme immer noch unbeabsichtigt und einfach erstellt werden können. Es ist auch klar, dass die Voreingenommenheit in diesen Systemen schädlich, schwer zu erkennen und noch schwieriger zu beseitigen sein kann.

Heutzutage ist es ein Klischee zu sagen, dass Industrie und Wissenschaft verschiedene Gruppen von Menschen „im Raum“ brauchen, die diese Algorithmen entwerfen. Es wäre hilfreich, wenn das Feld diesen Punkt erreichen könnte. Aber in Wirklichkeit erreichen nordamerikanische Informatik-Doktorandenprogramme nur etwa einen Abschluss 23 % weibliche und 3 % schwarze und lateinamerikanische Studentenwird es weiterhin viele Räume und viele Algorithmen geben, in denen unterrepräsentierte Gruppen überhaupt nicht vertreten sind.

Deshalb sind die grundlegenden Lehren meines Headtrackers von 1998 heute noch wichtiger: Es ist leicht, einen Fehler zu machen, es ist leicht, dass Voreingenommenheit unentdeckt Einzug hält, und jeder im Raum ist dafür verantwortlich, dies zu verhindern.

Möchten Sie mehr über KI, Chatbots und die Zukunft des maschinellen Lernens erfahren? Schauen Sie sich unsere vollständige Berichterstattung an künstliche Intelligenzoder stöbern Sie in unseren Leitfäden Die besten kostenlosen KI-Kunstgeneratoren Und Alles, was wir über ChatGPT von OpenAI wissen.

John MacCormickProfessor für Informatik, Dickinson College

Dieser Artikel wurde erneut veröffentlicht von Die Unterhaltung unter einer Creative Commons-Lizenz. Lies das originaler Artikel.

Zack Zwiezen

Zack Zwiezen is a USTimesPost U.S. News Reporter based in London. His focus is on U.S. politics and the environment. He has covered climate change extensively, as well as healthcare and crime. Zack Zwiezen joined USTimesPost in 2023 from the Daily Express and previously worked for Chemist and Druggist and the Jewish Chronicle. He is a graduate of Cambridge University. Languages: English. You can get in touch with me by emailing zackzwiezen@ustimespost.com.

Related Articles

Back to top button