MEDIENDIENST:I n einer aktuellen Studie warnen Sie vor Diskriminierung durch Algorithmen. Was sind Ihre Befürchtungen?
Carsten Orwat: Algorithmen sind Berechnungsverfahren, die häufig zur Auswertung von Daten genutzt werden. Immer häufiger werden Algorithmen auch dazu eingesetzt, Menschen zu bewerten und nach Kategorien zu differenzieren. Da geht es dann oft um Prognosen, zum Beispiel, mit welcher Wahrscheinlichkeit ein Mensch in der Lage sein wird, einen Kredit zurückzuzahlen. Der Einsatz von Algorithmen in diesen Fällen ist relativ neu. Algorithmen können Entscheidungen erleichtern oder vollautomatisch treffen. Sie bergen aber auch die Gefahr, Menschen zu diskriminieren.
Können Sie ein Beispiel nennen?
Es gibt ein vielzitiertes Beispiel aus den USA: Dort verwendeten viele Richterinnen und Richter ein Programm, um zu ermitteln, wie hoch das Risiko ist, dass ein vorzeitig aus der Haft Entlassener wieder straffällig wird. Laut Recherchen des Journalistenverbundes ProPublica hat das Programm das Risiko bei Schwarzen Menschen systematisch überbewertet. Das Softwareunternehmen, das das Programm entwickelt hat, widersprach dem jedoch.
Besonders problematisch wäre es, wenn Richterinnen und Richter die Empfehlungen des Systems unhinterfragt übernehmen würden. Die genauen Kriterien und Regeln, nach denen Risikoscores gebildet wurden, waren weder ihnen noch den Betroffenen bekannt.
Können Algorithmen aber nicht auch neutraler und damit diskriminierungsfreier sein als Menschen, die Entscheidungen treffen?
In einigen Fällen wurde der Einsatz von Algorithmen damit begründet, dass gerade diskriminierendes Verhalten eingedämmt werden sollte. Doch Algorithmen im Bereich der künstlichen Intelligenz werden teilweise mit Daten aus der Vergangenheit trainiert. Sie spiegeln unsere Gesellschaft wider, und damit auch Ungleichheiten und Diskriminierungen, die in den Datensätzen vorhanden sind. Diese Algorithmen lernen, welche Merkmale relevant sind, um Personen bestimmten Kategorien – wie Risikostufen – zuzuordnen. Das können Merkmale wie Alter, Geschlecht oder die ethnische Herkunft sein, die nach dem Antidiskriminierungsrecht eigentlich nicht verwendet werden dürfen, um Menschen einzuteilen. Aber auch indirekt können diese Merkmale in Entscheidungen über Korrelationen einfließen: zum Beispiel durch den Wohnort, die Schulnoten oder die Jahre an Arbeitserfahrung.
Inwieweit werden Algorithmen in Deutschland bereits eingesetzt, um Menschen zu differenzieren?
Bislang gibt es keine verlässlichen Erhebungen dazu. Doch es gibt immer wieder vereinzelte Berichte über Geschäftsmodelle oder einzelne Programme, anhand derer man die Diskriminierungsrisiken erkennen kann. Welche Dimensionen das hat, kann man damit allerdings nicht verlässlich sagen.
Was muss getan werden, um Diskriminierung durch Algorithmen entgegenzuwirken?
Am besten wäre es, präventiv zu agieren. Eine Möglichkeit wäre die Beratung von Entwicklerinnen und Entwicklern durch Antidiskriminierungsstellen. Mittlerweile gibt es auch technische Möglichkeiten zum Testen und Optimieren von Programmen im Hinblick auf Diskriminierungsvermeidung. Zudem sollte man in der Praxis mehr Gewicht auf die Prüfung der Daten legen, mit denen die Algorithmen trainiert werden, so dass sie keine Ungleichheiten oder diskriminierenden Praktiken oder Bewertungen abbilden.
Wer garantiert, dass die Algorithmen gut sind?
Wahrscheinlich kann man Diskriminierungsvermeidung nur durch ein Mix an Maßnahmen erreichen. Neben der Beratung kann man die Hersteller von Programmen in die Pflicht nehmen. In Zusammenarbeit mit Antidiskriminierungsstellen könnte man Programme vor ihrem Einsatz testen und soweit modifizieren, dass sie "diskriminierungsfrei by design" sind. Unterstützend wirkt auch eine starke Aufsicht, beispielsweise durch Datenschutzbehörden, Antidiskriminierungsstellen und den Verbraucherschutz.
Interview: Christina Biel
