Diskriminierung durch Algorithmen – eine Gefahr?

Diskriminierung durch AlgorithmenIn China werden Algorithmen bereits systematisch zur sozialen Kontrolle eingesetz. Foto: Pixabay/Free-Photos/CC0

Diskriminierung durch Algorithmen sieht der Regierungsberaters Gerd Gigerenzer als ernsthafte Gefahr. Verbraucher werden seiner Ansicht nach häufig zu Unrecht benachteiligt.

Herr Gigerenzer, sind wir Verbraucher eigentlich noch freie, selbstbestimmte Akteure? 
Das sind wir immer weniger, weil private Firmen enorme Datenmengen über uns sammeln und mit ihren Algorithmen in unser Leben eingreifen. Daraus erstellen sie einen so genannten Score, also einen individuell berechneten Wert.

Wie wirkt sich das aus? 
Wenn jemand aus Sicht einer Firma eine schlechte Bonität hat und im Internet einkauft, bekommt er nicht die Option angeboten, etwas auf Rechnung zu bestellen. Der Preis eines Flugtickets, das jemand online kauft, hängt von seinem Score ab. Und wenn jemand  von einem ipad oder einem anderen Macintosh-Produkt aus bestellt, wird das als Hinweis gewertet, dass derjenige gut verdient – und dass man bei ihm einen höheren Preis verlangen kann als wenn jemand mit einem billigen No-Name-Produkt ins Internet geht.

Was ist falsch an individualisierten Preisen? 
Auf den ersten Blick nichts. Wir müssen uns nur klar machen, dass es um viel mehr geht. Wollen wir Algorithmen, die wir nicht kennen, weil sie Geschäftsgeheimnisse privater Firmen sind, so viel Macht geben? Wollen wir immer mehr fremdbestimmt werden? Denn zum einen können Algorithmen schlicht falsch sein und diskriminieren. Und zum anderen können riesige Datensammlungen politisch zur Verhaltenssteuerung eingesetzt werden, wie wir das in China schon sehen.

Haben Sie ein Besipiel für die Diskriminierung durch Algorithmen?
In den USA wenden Gerichte seit Jahren einen Algorithmus namens Compas an. Er soll vorhersagen, mit welcher Wahrscheinlichkeit ein Angeklagter innerhalb der nächsten zwei Jahre straffällig wird.  In 35 Prozent der Fälle sind diese Vorhersagen aber falsch. Es ist schlimm, wenn jemand wegen blindem Vertrauen in einen Algorithmus ins Gefängnis muss oder deshalb zu einer längeren Haft verurteilt wird, als es ohne den Algorithmus der Fall wäre.

Ist das nicht eine bizarre Ausnahme? Die deutsche Justiz nutzt Compas nicht.
Stimmt. Relevant ist das Beispiel trotzdem. Es zeigt nämlich, wie massiv und ungerecht das Produkt eines privaten Unternehmens in das Leben eingreifen kann. Es ist deshalb höchste Zeit, dass wir uns das vor Augen führen und kritisch damit umgehen. Bei uns ist beispielsweise das so genannte Geoscoring durchaus üblich. Dabei wird für ein Mietshaus oder eine Straße die Kreditwürdigkeit der Bewohner ermittelt. Wenn Ihr Nachbar also mal eine Rechnung nicht beglichen hat, verschlechtert sich Ihr Score – auch wenn Sie immer pünktlich gezahlt haben. Das ist digitale Sippenhaft, die in China derzeit auf die Spitze getrieben wird.

Diskriminierung durch Algorithmen hat politische Dimension

Was passiert dort? 
In etwa 40 Städten wird dort bis 2020 erprobt, wie man jedem Bürger einen „Sozialen Kreditwert“ geben kann – einen Score, der alles erfasst: Kreditwürdigkeit, soziales und politisches Verhalten, das Verhalten der Familienmitglieder und Freunde und so weiter. Es geht um eine Art digitales Führungszeugnis, auf dessen Basis der Staat dann entscheidet, ob jemand ein Haus kaufen oder ins Ausland reisen kann, welche Schule seinen Kindern offen steht oder welchen Job er bekommt. Und der Druck, der dabei zwischen den Menschen entsteht, macht das Programm zum Selbstläufer.

Wie sieht der aus? 
Stellen Sie sich vor, dass Sie mit jemandem befreundet sind, der einen schlechten sozialen Score hat. Dann werden Sie alles tun, um ihn zu einem systemkonformen Verhalten zu bringen. Denn sonst verschlechtert sich – womöglich mit allen negativen Folgen – auch Ihr Score.

Diese Totalkontrolle wäre in Deutschland aber undenkbar. 
Was macht Sie das so sicher? Natürlich sind 99 Prozent der Bundesbürger empört, wenn Sie von dem Projekt in China hören. Wir laufen aber Gefahr, aus Unwissen oder Bequemlichkeit im Umgang mit unseren Daten in genau diese Richtung zu geraten. Bei uns wäre es nicht der Staat, der die Überwachung durchsetzte. Aber die großen privaten Datensammler haben mit Aufklärung oder Bürgerrechten auch nichts am Hut. Es gibt interessante Parallelen zwischen Peking und dem Silicon Valley. China will den gläsernen Menschen. Eric Schmidt von Google meint, wenn jemand etwas zu verbergen habe, solle er es besser gar nicht erst tun.

Wie können wir eine Diskriminierung durch Algorithmen verhindern?
Wir müssen endlich aufwachen. Wir reden viel und oft naiv über Technik und Digitalisierung – aber kaum davon, was Technik und Digitalisierung mit uns machen. Noch meinen viele, dass Facebook und Google umsonst seien. In Wahrheit sind sie teuer, weil Datensammlungen entstehen, die den Weg in einen Überwachungsstaat eröffnen können. „Big Data“ darf nicht zum Geburtshelfer des berühmten „Big Brother“ aus George Orwells Buch „1984“ werden.

Der Regierungsberater und das Verbrauchergutachten

Foto: SVRV

Gerd Gigerenzer (70) hat in Psychologie  habilitiert, war Direktor am Max Planck-Institut für Bildungsforschung und leitet dort das Harding-Zentrum für Risikokompetenz. Er arbeitet im Sachverständigenrat für Verbraucherfragen mit, der das Bundesministerium für Justiz und Verbraucherschutz berät.
Ende Oktober wird der Sachverständigenrat für Verbraucherfragen ein Gutachten vorlegen, wie ein faires Scoring von Kunden im Geschäftsleben aussehen kann. Dabei geht es um das Dilemma, vor dem die Bürger heute stehen: Private Firmen ermitteln für sie auf Basis ihrer Algorithmen, die ein Geschäftsgeheimnis sind, einen persönlichen Score. Wie der zustande kommt und ob er korrekt ermittelt wurde, erfahren die Verbraucher aber nicht.

Ideenwerkbw.de Newsletter

Einmal pro Woche die neuesten Startup-News!

NEWSLETTER