Die digitale Diktatur

Der Bestsellerautor Yuval Noah Harari warnt vor einer Zukunft, in der die Bürger zufrieden und unter Kontrolle sind. Computer durchschauen ihr Gefühlsleben und manipulieren es. So weit kann es kommen, wenn man die Hoheit über seine Daten aufgibt. Eine Rezension.

Wir fürchten uns vor den Falschen, warnt Yuval Noah Harari. Computer werden auch in Zukunft kein Bewusstsein erlangen und sich über die Menschen erheben. Das sei schlechte Science-Fiction, sagt der Historiker und Bestsellerautor. Doch dass Menschen mit der Hilfe der Künstlichen Intelligenz die Weltherrschaft übernehmen – dieses Szenario malt Harari in seinem neuen Buch „21 Lektionen für das 21. Jahrhundert“ aus. Er greift damit Themen auf, die auch die ZukunftsReporter bewegen, und macht deutlich, wie sehr sich die Zeiten ändern. Im 20. Jahrhundert, so Harari, brauchten Überwachungsdienste noch viel Personal, um die Datenflut zu bändigen. So viele Akten über so viele Menschen! Heute können hingegen einige Operateure riesige Datenmengen zentral verwalten – und ihre Möglichkeiten nehmen weiter zu.

Yuval Hararis Szenario beginnt scheinbar harmlos mit einem angenehmen Service: Computer wählen für ihre Nutzer die passende Musik aus, ohne dass man nach der richtigen CD oder Datei suchen müsste. „Mozart in der Maschine“ heißt die Überschrift in Hararis Buch. Um die Stücke auszuwählen, die dem Nutzer in einer bestimmten Situation gefallen, müssen die Maschinen herausfinden, welche Wirkung Musik bei Menschen entfaltet. Und dann müssen sie lernen, aus biometrischen Daten und dem Verhalten der Nutzer deren Gefühle abzulesen. Sie wissen dann, mit welchem Persönlichkeitstyp sie es zu tun haben und in welcher Verfassung er gerade ist – und können voraussagen, wie er auf einen bestimmten Song reagieren wird. Was dann möglich wäre, beschreibt Harari am Beispiel der Trennung eines Paares:

„Erst hilft Ihnen der Algorithmus zu leugnen, was geschehen ist, indem er Bobby McFerrins Don’t Worry, Be Happy spielt, dann facht er Ihre Wut an mit Alanis Morissettes You Oughta Know, dann ermuntert er Sie, es vielleicht noch einmal mit gutem Zureden zu versuchen (Jacques Brels Ne me quitte pas und Paul Youngs Come Back and Stay), ehe er Sie mit Adeles Someone Like You und Hello in die Hölle der Depression befördert und Ihnen schließlich dabei hilft, die Situation mit Gloria Gaynors I Will Survive zu akzeptieren.“

Die Menschen sind berechenbar

Solche Zusammenhänge können Computer im Prinzip auch ohne detailliertes psychologisches Vorwissen erkennen. Das Verfahren wird „unüberwachtes Lernen“ genannt, die ZukunftsReporter haben es im Szenario „Der Computer greift nach dem Chefposten“ erläutert. Die Denkwege der Computer lassen sich im Nachhinein zwar in vielen Fällen nicht rekonstruieren, doch wenn sie oft genug richtig liegen, wird vielleicht niemand mehr ihre Entscheidungen oder Empfehlungen hinterfragen. Wie autodidaktisch die Maschinen schon arbeiten, zeigt das Beispiel von AlphaGo Zero. Dieser Algorithmus hat allein auf der Grundlage der Spielregeln innerhalb von vier Stunden Schach gelernt – und schlug anschließend das bis dahin weltbeste Programm Stockfish. Einige Details der Programmierung hat die Google-Tochter DeepMind in einem Fachartikel veröffentlicht.

Doch bei der Musik bleibt Harari nicht stehen. Stimmungen zu manipulieren ist für ihn nur der Anfang, denn Menschen sind auch in anderen Bereichen berechenbar – zum Beispiel bei der Entscheidung, welchen Kandidaten sie ihre Stimme geben. Heute lassen sich Wahlen bereits in Ansätzen mit personalisierter Werbung in sozialen Netzwerken beeinflussen: Die Nutzer sehen Videos mit politischen Botschaften, die auf ihren Persönlichkeitstyp zugeschnitten sind. Wie wirksam diese Technik ist und ob damit tatsächlich die Wahl Donald Trumps entschieden wurde, wie es die umstrittene Firma Cambridge Analytica behauptet hat, ist zwar nicht bekannt, doch das Prinzip dürfte funktionieren, fassen die Autoren des Blogs Netzpolitik.org in einem Überblicksartikel zusammen.

Zudem kann die Künstliche Intelligenz auf den Erkenntnissen der Psychologie und Soziologie aufbauen. So sind zum Beispiel einige psychologische Mechanismen bekannt, die man nutzen kann, um Entscheidungen in eine bestimmte Richtung zu lenken. Diese Eingriffe werden als „Nudging“ (Anstupsen) bezeichnet. Dazu müssen keine Fakten manipuliert oder den Menschen Informationen vorenthalten werden – die ZukunftsReporter stellten im Szenario „Wie wir bessere Menschen werden“ einige Beispiele vor. Man kann sich das an der Speisekarte eines Restaurants verständlich machen: Wenn man die Reihenfolge der Speisen ändert oder sie in bestimmte Kategorien einteilt, wählen die Gäste andere Gerichte. Harari fügt der Wissensbasis der Künstlichen Intelligenz noch einige zukünftige Erkenntnisse aus der Hirnforschung hinzu und blickt ein halbes oder ein ganzes Jahrhundert voraus – deutlich weiter, als es die ZukunftsReporter in ihren Szenarien üblicherweise tun:

„Wenn die Revolution in der Biotechnologie mit der Revolution in der Informationstechnologie verschmilzt, werden daraus Big-Data-Algorithmen entstehen, die meine Gefühle viel besser überwachen und verstehen können als ich selbst, und damit wird sich die Macht vermutlich von den Menschen hin zu den Computern verschieben. Meine Illusion eines freien Willens wird recht schnell zerplatzen, wenn ich täglich mit Institutionen, Unternehmen und staatlichen Stellen zu tun habe, die das, was bislang mein unzugänglicher innerer Bezirk war, verstehen und manipulieren.“

Die Macht geht von den Daten aus

Selbst wenn die Manipulation nicht so perfekt gelingt, wie es sich Harari ausmalt, ist die Vorstellung dieser Zukunft gruselig. Die Menschen werden in dieser digitalen Diktatur nicht mehr ausgebeutet wie früher, sondern in einen zufriedenen Dämmerschlaf versetzt. Jeder Widerstand wird von der KI vorausgesehen und die Initiatoren werden durch Manipulation auf andere Ideen gebracht. Doch werden wir es so weit kommen lassen? Die ZukunftsReporter gehen davon aus, dass die Menschen ihre Zukunft in der Hand haben. Doch die deprimierende Antwort von Yuval Harari lautet: Die Menschen werden ihre Chance, den Missbrauch der KI zu verhindern, wahrscheinlich nicht nutzen.

Die Macht geht in Hararis Zukunftsszenario von den Daten aus. Wer sie besitzt, kann sie auswerten und zur Manipulation benutzen. Ob das die Chefs großer IT-Firmen sein werden oder Regierungschefs, ist zweitrangig. Wichtiger ist, dass die Bürger die Kontrolle über ihre Daten gar nicht erst aufgeben. Für Harari ist die Sicherheit der Privatsphäre die vielleicht wichtigste politische Frage unserer Zeit. Doch Verantwortung für die eigenen Daten zu übernehmen ist leicht gesagt, denn es ist ungemein komfortabel, wenn der Computer Daten sammelt und auf dieser Grundlage seine Dienstleistungen für den Nutzer personalisiert – ohne ihn fragen zu müssen, was er will.

Ein digitaler Assistent kann zum Beispiel die ganze Welt nach Reisezielen, Büchern, Nachrichten und Tutorials durchforsten, die den Nutzer interessieren dürften. Er macht das auf der Grundlage der Daten, denn es wäre für den Nutzer zu anstrengend, sich über seine Vorlieben klar zu werden und sie dem Computer mitzuteilen. Viel angenehmer ist es, sich überraschen zu lassen – so, wie es knapp anderthalb Milliarden Facebook-Nutzer jeden Tag tun, wenn sie durch die für sie zusammengestellte Timeline scrollen. Wenn die Auswahl gut genug ist, denkt man nicht weiter darüber nach, wie viel seiner Privatsphäre man dafür aufgeben musste. Harari schildert den Fall sarkastisch:

„Stellen Sie sich vor, ein zwielichtiger Milliardär würde Ihnen folgenden Deal anbieten: ‚Ich werde Ihnen 30 Euro im Monat zahlen, und im Gegenzug werden Sie mir gestatten, Sie eine Stunde am Tag einer Gehirnwäsche zu unterziehen und in Ihrem Kopf all die politischen und kommerziellen Einseitigkeiten unterzubringen, die mir so vorschweben.‘ Würden Sie auf diesen Deal eingehen? Kaum jemand, der einigermaßen bei Verstand ist, würde das tun. Und so bietet der zwielichtige Milliardär einen etwas anderen Deal an: ‚Sie werden mir erlauben, Sie eine Stunde am Tag einer Gehirnwäsche zu unterziehen, und im Gegenzug werde ich Ihnen für diese Dienstleistung nichts in Rechnung stellen.‘ Jetzt klingt der Deal plötzlich für Hunderte Millionen Menschen verführerisch. Folgen Sie nicht deren Beispiel.“

Politik und Religion geben keine Orientierung

Ob der Aufruf wirklich ohne Folgen verhallen wird? Immerhin spüren die Menschen, dass die Dinge im 21. Jahrhundert nicht rund laufen. Sie erkennen, dass sie an Bedeutung verlieren: Die KI übernimmt ihre Arbeit, Algorithmen durchschauen ihr Gefühlsleben. Die Technik wächst ihnen über den Kopf. Doch Harari sieht niemanden, der hier Rat und Orientierung geben könnte: Weder Politik noch Religion böten eine tragfähige Vision der Zukunft, schreibt er. Deshalb rät Harari seinen Lesern, skeptisch zu bleiben und einfache Analysen und Lösungen zurückzuweisen. Besser beraten sei man mit der einschlägigen Fachliteratur, denn „die wissenschaftliche Community ist seit Jahrhunderten unsere verlässlichste Wissensquelle“. Doch auch der Wissenschaft gelingt es nicht, innezuhalten und ihren eigenen rasanten Fortschritt zu begreifen.

Die ZukunftsReporter haben es sich zur Aufgabe gemacht, Diskussionen über eine wünschenswerte Zukunft anzuregen. Die Menschen müssen sich darüber verständigen, was sie wollen, und zusammenhalten, um ihr gemeinsames Ziel zu erreichen. Doch Harari lenkt den Blick auf eine Vorbedingung: Andere zu verstehen und anderen etwas mitzuteilen, setzt voraus, dass man sich selbst kennt. Doch viele Menschen lassen sich von außen festlegen und fühlen sich daher nicht wohl in ihrer Haut:

„Wenn etwas Aufregendes passiert, besteht das Bauchgefühl von Facebook-Nutzern darin, das Smartphone aus der Tasche zu ziehen, ein Foto zu machen, es online zu stellen und auf die Likes zu warten. Währenddessen bemerken sie kaum, was sie selbst fühlen. Vielmehr wird das, was sie fühlen, zunehmend von den Online-Reaktionen bestimmt.“

Der erste Schritt ist also, in sich hineinzuhören und sich die Mühe zu machen, seine Vorlieben und Wünsche zu erkennen. Man könnte sie dann einem Computer mitteilen, der sie erfüllt. Aber noch besser wäre es, mit anderen darüber zu reden, wie man sie verwirklicht.