„Sie sind verurteilt, passive Objekte des Algorithmus zu sein“

Nicht nur China bewertet seine Bürger mit Computerprogrammen. Auch in westlichen Staaten wenden Staat und Privatwirtschaft immer öfter Algorithmen an, um Menschen zu „scoren“. Riffreporter befragte dazu Nicolas Kayser-Bril von der Organisation Algorithmwatch.

Dieser Beitrag entstand für die Koralle "K.I. für alle", in der Chrisitian J. Meier Geschichten über Algorithmen erzählt - verständlich, gut recherchiert und mit kritischer Distanz. In den ersten Monaten werden die Texte dieser Koralle kostenfrei sein. Eine freiwillige Einmal- oder Abo-Zahlung ist jedoch möglich und freut den Autor. 

Täglich klicken Menschen auf Kaufempfehlungen, die Algorithmen ihnen aufgrund ihrer Vorlieben geben. Oder sie folgen einer Route, die das Navi anbietet. Besonders folgenreich oder die Freiheit einschränkend ist das nicht. Doch zunehmend seien Algorithmen an deutlich wichtigeren Urteilen über Menschen beteiligt, wie es in einer aktuellen Studie des Karlsruher Instituts für Technologie heißt.

Autor Carsten Orwat hat 47 Beispiele aus Arbeitsleben, Immobilienmarkt, Handel, Werbung, Kreditwesen, Medizin und Verkehr zusammengetragen. Auch die Organisation Algorithmwatch hat untersucht, wie Algorithmen über den Zugang von Menschen zu wichtigen Diensten oder Leistungen mitentscheiden.

Computer benoten, beurteilen oder machen Vorhersagen über ein bestimmtes Verhalten. Ein Algorithmus der österreichische Arbeitsvermittlung AMS sortiert Arbeitslose nach ihren Chancen auf dem Arbeitsmarkt, derzeit im Testbetrieb, ab 2020 regulär. Im schwedischen Trelleborg erhielten tausende Arbeitslose aufgrund einer automatisierten Entscheidung keine Sozialleistungen. In Spanien entscheidet ein Computer, ob arme Haushalten einen staatlichen Zuschuss für ihre Stromkosten bekommen sollen oder nicht

Auch in Deutschland beeinflussen Algorithmen menschliche Geschicke. Mitarbeiter der Arbeitsagentur beurteilen die Chancen ihrer „Kunden“ auf Arbeit mithilfe von Software. Die Behörde arbeitet zudem an einem Algorithmus namens „Automatisierte Antragsbearbeitung Arbeitslosengeld“. Die Mannheimer Polizei lässt sich von Kollege Computer auf potenzielle Täter hinweisen: Dort erkennt ein intelligentes Videoüberwachungssystem verdächtige Bewegungen, etwa Schlagen oder Treten. Das Scoring der Auskunftei Schufa schließlich, ebenfalls von einem Algorithmus berechnet, kann Verbrauchern den Zugang zu Krediten oder zu Internetverträgen verstellen.

Wie verbreitet sind solcherlei Algorithmen, welche Folgen hat das und was kann der Einzelne tun?

Riffreporter hat Nicolas Kayser-Bril von Algorithmwatch neun Fragen zu Algorithmen gestellt, die Menschen gesellschaftlich ausschließen können.

Herr Kayser-Bril, wie verbreitet sind solche Algorithmen?

Das weiß niemand. Es gibt viele Beispiele für Algorithmen, mit denen Arbeitssuchende nach ihren Chancen auf Arbeit sortiert werden, wie im österreichischen Arbeitsmarktservice, oder für Algorithmen zur Beurteilung des Anspruchs auf weitere Sozialleistungen, wie im schwedischen Trelleborg. Unsere Arbeit zeigt, dass die Verbreitung dieser Algorithmen zunimmt, da Pilotprojekte oft zeitlich und inhaltlich verlängert und selten eingestellt werden. Solange es jedoch kein obligatorisches Register für solche Algorithmen gibt, zumindest für die im öffentlichen Sektor genutzten, wird es unmöglich bleiben, den Umfang des Problems genau zu beurteilen.

Welche Entscheidungen treffen Algorithmen?

Soweit wir wissen, können Algorithmen im öffentlichen Sektor in einer Vielzahl von Anwendungen eingesetzt werden:

  • über das Recht des Antragstellers auf Leistungen entscheiden.
  • Arbeitssuchende gemäß einer Skala der Beschäftigungsfähigkeit sortieren.
  • Zugang per Gesichtserkennung (mehrere Experimente an Schulen in Schweden und Frankreich; im Madrider Verkehrssystem; an mehreren Flughäfen).
  • Anomalien im öffentlichen Raum aufdecken, durch Auswertung von Videoüberwachung, beispielsweise bei der Detektion von verdächtigen Bewegungen durch ein intelligentes Kamerasystem in Mannheim.
  • Terrorismus aufdecken.
  • Ärzte unterstützen, eine Diagnose zu stellen.
  • im privaten Bereich werden solche Algorithmen noch häufiger genutzt. Nur einige Beispiele, die sich auf die Teilnahme eines Benutzers am öffentlichen Leben auswirken:
  • entscheiden, was eine Person in ihrem Newsfeed lesen darf (Facebook, Instagram, teilweise Twitter).
  • die Eigenschaften eines Bewerbers bewerten (HireVue, Precire, 100 Worte)
  • entscheiden, wen ein Single daten soll (Tinder, Bumble).
  • die Leistung eines Mitarbeiters bewerten (Amazon u.a.)
  • automatisiertes Fahren

Welche Vorteile bringen die Algorithmen?

Es ist schwer, zu sagen, was der genaue Nutzen ist, da nur wenige Betreiber von Algorithmen ihre Daten veröffentlichen oder zumindest unabhängige Auditoren eingeladen haben, ihren Service zu bewerten. Einige behaupten, dass Algorithmen schnellere Entscheidungen ermöglichen, etwa bei den Sozialleistungen in Trelleborg, oder dass sie eine Situation besser erfassen können als Menschen, beispielsweise bei Österreichs AMS-Algorithmus zur Arbeitsvermittlung. Diese Ansprüche sind nicht begründet.

Wo sehen Sie ethische Konflikte?

Algorithmen werden oft verwendet, um menschliche Tätigkeiten zu ersetzen. In Bereichen, in denen der menschliche Bediener eine Maschine steuerte, wie etwa bei Autopiloten, gibt es wenig oder gar keine ethischen Konflikte. Wo jedoch der menschliche Aspekt einer Tätigkeit im Mittelpunkt steht, insbesondere bei Pflege- und Sozialdiensten, stellt die übermäßige Abhängigkeit von Algorithmen eine Gefahr für das gesamte Unterfangen dar. Denn wenn ein Algorithmus einen Menschen kategorisiert, kann er ihn auch diskreditieren. Die Algorithmen verstärken deshalb Stigmata im Zusammenhang mit der Sozialhilfe und sie können die Wirksamkeit der Maßnahme untergraben.

Wer hat die Kontrolle?

Einige Algorithmen sind sehr deterministisch, da das Programm nicht lernt, oder sein Verhalten anpasst. Es handelt sich in der Regel um Entscheidungsbäume, deren Schöpfer alle Bedingungen festgelegt haben, die notwendig sind, um ein bestimmtes Ergebnis zu erzielen. In solchen Fällen liegt die Macht in den Händen der Entwickler des Algorithmus und in den Händen derjenigen, die für ihre Umsetzung verantwortlich sind.

Algorithmen hingegen, die kontinuierlich lernen oder aus einem Datensatz aufgebaut wurden, verhalten sich komplexer, da ihre Funktionsweise von den Daten definiert wird, die zum Trainieren ihrer Modelle verwendet werden. Diejenigen, die entscheiden, mit welchen Daten das Modell trainiert wird, haben enorme Macht. Im Fall des österreichischen AMS-Algorithmus wurden beispielsweise Daten zur Beschäftigung aus der Vergangenheit verwendet. Die Entscheidung, wo der Stichtag gesetzt wird, 2018, 2010 oder gar 1960, wird zu sehr unterschiedlichen Ergebnissen führen.


Nicolas Kayser-Bril

Welche Gefahren sehen Sie für Freiheit und Demokratie?

Automatisierte Systeme bestimmen mit über die Teilnahme der Bürger am öffentlichen Leben. Um nur einige Beispiele zu nennen:

- Der ständige Verdacht der Regierung, wie er sich etwa durch das Analysieren der Internetkommunikation durch Nachrichtendienste in Frankreich ausdrückt, zeigt das mangelnde Vertrauen der Regierung in ihre Bürger und könnte wiederum dazu führen, dass die Bürger das Vertrauen in Institutionen verlieren.

- Algorithmen, die entscheiden, welche Inhalte Nutzer auf großen Plattformen wie Facebook und Google zu sehen bekommen, fragmentieren den öffentlichen Raum. Zwar sind Konzepte wie Filterblasen und Echokammern umstritten. In jedem Fall aber können einige Erfahrungen im Netz nicht in der gesamten Bevölkerung geteilt werden. Ein Beispiel ist gezielte Werbung. Ein anderer kann die Anzeigen, die ich auf Facebook sehe, nicht sehen, auch wenn er es wollte. Das erschwert es einer Gruppe, sich in die andere einzufühlen.

- Nutzer öffentlicher Dienste sowie Sachbearbeiter verlieren an Handlungsfähigkeit, wenn sie nicht verstehen, wie ein ihnen aufgezwungenes Instrument funktioniert. Da es oft keine Möglichkeit gibt, das Ergebnis eines Algorithmus anzufechten oder gezeigt zu bekommen, wie er funktioniert, wie etwa bei der Schufa, können betroffene Bürger nicht darauf reagieren. Sie sind dazu verurteilt, passive Objekte des Algorithmus zu sein.

Welche Entwicklung erwarten Sie für die Zukunft?

Wir beobachten zwar einen Aufwärtstrend bei der Verwendung von Algorithmen. Diese Entwicklung ist jedoch nicht zwangsläufig. Da die Entscheidung, einen automatisierten Prozess einzusetzen, völlig politisch ist, bleibt die Zukunft offen. Es hängt alles von der Entwicklung der politischen Kräfte ab. Regierende könnten zum Beispiel Algorithmen einsetzen, um die am stärksten gefährdeten Personen aufzuspüren, die wahrscheinlich ihre Steuern nicht bezahlen werden und ihr Vermögen präventiv einzufrieren. Ähnliches ist derzeit im Bereich des Terrorismus der Fall, wo einige Personen unter Hausarrest gestellt werden, möglicherweise aufgrund automatisierter Bewertungen ihres Gefährdungsgrades. Oder die Regierung könnte eine Bewertung zur Überwachung der CO2-Emissionen jedes Bürgers erstellen. Die Möglichkeiten sind endlos. Welche umgesetzt werden sollen, ist eine rein politische Frage.

Was kann jeder von uns tun?

Jeder kann seine Aufmerksamkeit schärfen. Nutzer von Algorithmen, die Souveränität zurückgewinnen wollen, sollten die an ihnen verwendeten Algorithmen identifizieren und versuchen, ihren Zweck zu verstehen. Dein Facebook-Feed zum Beispiel soll dir nicht wohlwollend zeigen, woran du interessiert bist, sondern dich auf der Plattform halten, so dass deine Neigung steigt, auf eine Anzeige zu klicken.

Was können Politiker tun?

Das kommt darauf an, was sie erreichen wollen. Algorithmen, die sich auf das gesellschaftliche Engagement eines Bürgers auswirken, sind politischer Natur, so dass jeder politische Akteur eine andere Sichtweise auf das Thema hat.

Flatrate ab 8 € RiffReporter unterstützen
KI für alle