Jetzt steuern Cyborg-Accounts die Desinformationskampagnen

Als der Chatbot Tay von Microsoft vor einigen Jahren begann, selbständig rechtsradikale und menschenverachtende Parolen per Twitter zu verbreiten, war der Schreck groß: so also kann es gehen, wenn eine künstliche Intelligenz das Internet als Trainingsmaterial hat, um sprechen zu lernen. Immerhin: der Bot schaffte es, ganz ohne menschliche Hilfe, immer mal wieder gerade Sätze von sich zu geben. Seit diesem fragwürdigen „Erfolg“ hört man zwar viel in den Medien von so genannten „Social Bots“, die scheinbar Desinformation in sozialen Netzwerken verbreiten.

Doch wer genauer recherchiert, stellt fest: die Technologie hat es bis jetzt nicht aus einem Nischendasein herausgeschafft. Maschinelles Lernen ist nach wie vor zu aufwendig und zu unzuverlässig, um wirklich überzeugende und glaubhafte Resultate in der Kommunikation mit Menschen zu produzieren. Dazu kommt: komplett automatisch gesteuerte Accounts sind technisch relativ einfach und eindeutig zu erkennen, und die Netzwerke entfernen sie zügig.

„Konversationsagenten sind noch nicht besonders gut“, sagt Lena Frischlich, die an der Uni Münster eine Forschungsgruppe zum Thema demokratischer Resilienz in der Online-Kommunikation leitet. Doch der Rückschluss ist falsch, nach dem alle Inhalte in den sozialen Medien nun von authentischen Nutzern produziert und verbreitet werden: Gesteuerte Propaganda und gezielte Fehlinformations-Kampagnen auf sozialen Netzwerken gibt es dennoch, nur die Strategie der Angreifer hat sich geändert – weil es bessere und effizientere Möglichkeiten gibt, entsprechende Kampagnen zu verstärken. „Wir beobachten eine Trendwende hin zu Cyborg-Accounts“, sagt Darren Linville, der sich an der amerikanischen Clemson University mit staatlichen Desinformations-Kampagnen beschäftigt: Accounts, die beispielsweise von Bots gestartet und dann von Menschen übernommen werden.

Nicht aufzuhalten: #DCBlackout

Linvill hat einige aktuelle Kampagnen untersucht, zuletzt den Hashtag #DCBlackout auf Twitter – ein Gerücht, laut dem Polizei und Geheimdienste in Washington DC das Internet großflächig mittels Störsendern lahmgelegt hätten, um Polizeigewalt gegen die Black-Lives-Matter Demonstranten zu verschleiern, und die neue Taktik immer öfter gesehen.

Dabei sei mit technischen Mitteln sehr einfach zu erkennen, wann dieser Wechsel stattfinde: Es ändert sich nicht nur das Verhalten vom passiven Retweeten zum aktiveren Eingreifen, auch der Client ändert sich beispielsweise, über den der Nutzer schreibt (also beispielsweise die Browser-basierte Twitter-Website, verschiedene Apps oder Programme, mittels derer sich mehrere Accounts beobachten und steuern lassen) sobald der Mensch von der Maschine übernimmt. Viel mehr möchte Linvill nicht verraten, um den Angreifern nicht zu viel Informationen an die Hand zu geben. Schließlich ist es wie immer ein Katz-und-Maus-Spiel zwischen Angreifern und Verteidigern, also beispielsweise den sozialen Netzwerken, die versuchen, verdeckt automatisierte Accounts zu entfernen.

Was genau geschehen ist, lässt sich im Einzelfall dennoch oft nur schwer nachvollziehen. Das zeigt sich auch am Beispiel #DCBlackout: Irgendwann in der Nacht zum 1.6.2020 startete das Gerücht; eine die ersten Nutzerinnen, die den Hashtag verwendet, ist Marcie Berry: „Derzeit kommen KEINE INFOS aus DC. Keine Streams, keine Beiträge, Bilder oder Videos. Alle Streams haben gleichzeitig gestoppt.“ schreibt sie am 1.6. um 3.26 Uhr morgens auf Twitter über die Black-Lives-Matter-Proteste vor dem Weißen Haus. Für die junge Frau ist die Sache klar: es ist der nächste Schritt der Eskalation durch die Polizei: „Sie fangen an zu töten und versuchen, dies durch Störsender zu verbergen.“

Innerhalb weniger Stunden explodierte der Hashtag – laut Linville und Engler ebenso wie offizieller Twitter-Verlautbarungen verstärkt durch automatische und möglicherweise bezahlte Troll-Accounts sowie gehackter echter Accounts. Insgesamt zählte Twitter in den ersten Stunden mehr als 500.000 Tweets von 35.000 Accounts zu diesem Hashtag. Als Alex Engler, der zu gesteuerten Fehlinformationskampagnen an der Brookings Institution in Washington forscht, morgens um 8 Uhr sah, was vor sich ging und versuchte, das Gerücht zu entkräften, hatte er schon keine Chance mehr: er wurde von anderen Nutzern wahlweise als Teil der Verschwörung oder ahnungslos bezeichnet.

Twitter hatte zu diesem Zeitpunkt bereits erste Spam Accounts gelöscht, doch auch das stärkte nur die Theorie vieler Nutzer, nach der kritische Stimmen zum Schweigen gebracht würden, mit allen Mitteln. Die Kampagne hatte erst wenige Stunden zuvor gestartet, doch schon um 8 Uhr am Morgen war sie nicht mehr aufzuhalten, und alle Versuche, Nutzer davon zu überzeugen, dass es sich um eine Falschmeldung handele, schienen ebenso verdächtig.

Popularität = Vertrauen

Die ohnehin angeheizte Stimmung sei von Bots ausgenutzt und bewusst angeheizt worden, ist sich Engler sicher: automatische Accounts, die Tweets mit dem Hashtag #DCBlackout retweeteten. „Denn wenn du als Nutzer siehst, dass ein solcher Tweet viele Interaktionen hat, vertraust du dem Inhalt eher.“ Technisch sei das sehr einfach, „es ist eher kulturell ausgefeilt.“ Bis heute ist unklar, wie viele wirkliche Bots in die Kampagne verwickelt waren. Aktuelle Erkenntnisse lassen eher darauf schließen, dass die Kampagne eher von Menschen verbreitet wurde, die zahlreiche unechte, erst kurz zuvor angelegte Accounts steuerten – sowie von Bots verstärkt.

Solche Bots, die bestimmte Themen und Hashtags oder auch einzelne Tweets oder Posts verstärken, gibt es günstig im Netz. Das hat Lena Frischlich erfahren, als sie sich 2019 für ein Forschungsprojekt auf die Suche begab. „Im Internet werden offen so genannte Like-Generatoren angeboten“, sagt sie – ein Like kostet dabei rund einen Cent. Frischlich fand auch Miet-Botnetze für 500 bis 600 Euro für drei Tage, die dann beliebig das verstärken, was ihr Auftraggeber verstärkt haben will. „Amplification-Tools sind billig“, sagt Frischlich – also jene kleinen Programme, die automatisierte Accounts steuern, die dann bestimmte Inhalte in den sozialen Medien verstärken. Und diese Tools folgen einer Marktlogik, sagt Frischlich: es gibt offenbar Bedarf nach Amplifikation.

Frischlich hält das einerseits für eine schlechte Nachricht, andererseits für einen Umstand, mit dem die Öffentlichkeit lernen muss zu leben und ihn kritisch mit einzubeziehen in die Bewertung von Inhalten auf Social Media: nicht jeder Trend ist Menschen gemacht. Und selbst wenn Menschen dahinterstecken, sind die Inhalte nicht immer authentisch, wie ein Beispiel aus dem Bundestagswahlkampf 2017 zeigt. Frischlich und ihren Kollegen war während eines TV-Duells aufgefallen, wie reihenweise sehr neue Twitter-Accounts versuchten, den Hashtag #Verräterduell zu puschen und fragten sich, ob es sich um Bots handelte. Doch wie sich später herausstellte, hatten sich Rechte auf der „Reconquista Germanica“ Plattform („Deutschlands größter patriotischer Server“) in der Messenger-App „Discord“ schlicht verabredet: „1. Macht euch so viele Twitter-Accounts wie möglich“, schrieb einer der Organisatoren :, 2. Die Tweets, die wir hier gleich veröffentlichen, so oft wie möglich retweeten.“ Dazu solle der Hashtag #Verräterduell gestellt werden. (Screenshots auf BuzzFeed)

Linville ist beeindruckt davon, wie kulturell und psychologisch ausgefeilt die #DCBlackout-Kampagne ist: denn nach einer ersten Welle des Verbreitens des Gerüchts, entlarvten schließlich mutmaßlich die gleichen Kräfte das Gerücht als falsch – dafür verwendeten sie allerdings stets die selbst Wortwahl und demonstrativ scheinbare Bot-Accounts.

Damit würden potentielle Gegner, die jene Kampagne aufdecken wollten, unglaubhaft – sie würden das Thema nur weiter unfreiwillig nähren, so Linvill: „Diesen Level an Zweifel zu schaffen, das ist ein brillanter, russischer Schachzug.“ Noch sei er nicht sicher, ob tatsächlich Russland dahinterstecke, es könnte auch eine Kopie einer in der Vergangenheit erfolgreichen russischen Strategie sein, sagt er. Für deutsche Ohren klingt das bisweilen nach der nächsten Verschwörungstheorie, die im kalten Krieg hängen geblieben ist: wieso sollte Russland – und wer genau dort? – den Rassenkonflikt in den USA anheizen?

Doch in der jüngeren Geschichte gibt es einige ähnliche Beispiele, die gut recherchiert und teils auch von unabhängigen Journalisten bestätigt sind. Linvill hat die Aktivitäten von Bots und organisierten Desinformationskampagnen auf Twitter seit deren Anfängen untersucht, und ist nach seiner Auskunft dabei immer wieder auf die so genannte „Internet Research Agency (IRA)“ gestoßen, eine so genannte Trollfabrik, die im Auftrag der russischen Regierung staatliche Desinformationskampagnen organisiert: deren Mitarbeiter kreieren in großem Stil automatisierte Accounts sowie händisch betriebene so genannte Personas in sozialen Netzwerken und verstärken Themen oder setzen neue Trends. (Der New York Times Reporter Adrian Chen beispielsweise war 2015 vor Ort in St. Petersburg und hat mit ehemaligen IRA-Mitarbeitern gesprochen)

„Was zählt sind die Zahlen“

So hat Linvill bereits vor der US-Wahl 2016 verschiedene Kräfte identifiziert, die versucht hatten, Fehlinformationen in den USA zu streuen, beispielsweise über Salmonellen-Ausbrüche im Bundesstaat New York oder eine verheerende Explosion einer Chemie-Fabrik in Louisiana (wofür beispielsweise alle Anwohner zusätzlich zu Twitter-Kampagne Textnachrichten erhielten und sogar einige Nachrichten-Websites originalgetreu nachgebaut worden waren. Ein Experiment möglicherweise der IRA, sagt Linvill – doch eines der weniger erfolgreichen. „Das war zu einfach zu überprüfen. Die Menschen vertrauen den klassischen Medien doch mehr als sie zugeben“, sagt er. Zumindest taten sie es damals noch.

Danach arbeiteten die Kräfte hinter solchen Kampagnen offenbar an deren Perfektionierung und probierten verschiedene Formen automatisierter Fehlinformation – klassische Bots mit computergestütztem Inhalt – und Bot-Jäger arbeiteten an deren automatischer Erkennung. Zumindest was rein automatisierte Accounts angeht, scheinen zumindest professionelle Bot-Jäger recht erfolgreich gewesen zu sein. Linvill beispielsweise hat 2018 einen großen Datensatz von Twitter suspendierter Accounts händisch untersucht: darin waren drei Millionen Tweets von 3800 Accounts. „Lediglich ein Dutzend waren echte Menschen. Eine enorm niedrige Fehlerkennungsrate“, sagt Linvill. Die Accounts, die der russischen IRA und iranischen Trollfarmen zugeordnet wurden, hatten unter anderem auch versucht, die Stimmung deutscher Nutzer zum Brexit zu beeinflussen, außerdem hatten viele der englischsprachigen Tweets die US-Wahl zum Thema.

Das alles darf aber nicht darüber hinwegtäuschen, dass vor allem leichtgläubige Menschen nötig sind, um eine solche Kampagne erfolgreich werden zu lassen. „Die Mehrheit sind am Ende immer echte, authentische Nutzer“, sagt Linville. Die Angreifer nutzen dabei die menschliche Psychologie aus: die Angst und die Wut der Demonstranten, das Misstrauen in die Behörden, und auch die Bereitschaft etwas zu glauben, was bereits viele andere geteilt haben. „Keiner schaut am Ende, wer etwas geteilt hat“, sagt Linvill, „was zählt sind die Zahlen.“ Dafür seien Bots nach wie vor gut.

In diesem Fall hat Linvill viele dieser teilautomatisierten Accounts „fremdgehen“ sehen: sie haben sich auf einmal einem Thema gewidmet, über das sie sonst nicht geschrieben hätten. Viele seien beispielsweise als so genannte „K-Pop“ Accounts aufgebaut gewesen: auf Twitter gibt es eine große Community, die sich über koreanische Pop-Musik austauscht. Hier ist es einfach für Bots, Material zu finden und zu retweeten: Song-Texte beispielsweise, ganz so, wie es die echten Menschen auch tun. Linvill hat rückwirkend schon häufig die „Geburt“ solcher Accounts rekonstruiert: Sobald sich ein Thema anbahne wie #DCBlackout, würden solche Bots, die bis dahin unerkannt unwichtiges posteten und deshalb nicht weiter auffielen, von Menschen gesteuert auf diese Themen aufspringen.

Unterstützung durch die K-Pop-Community?

Neuerdings engagieren sich viele dieser K-Pop Accounts stark für die Black-Lives-Matter Bewegung, was Forscher wie Linvill nervös werden lässt. Dieses Muster hat er bereits im Januar 2020 beobachtet, als er schließlich gemeinsam mit dem CNN eine mögliche Außenstelle der IRA in Ghana aufgedeckt hatte: die 16 Mitarbeiter, die CNN vor Ort antraf, gaben an, sie wüssten nicht, für wen sie arbeiteten, hätten aber den Auftrag, zum amerikanischen Rassenkonflikt, die Schwulen-und-Lesben-Bewegung und Polizeigewalt in den USA auf Twitter, Facebook und Instagram zu posten – zu amerikanischer Tageszeit. Sie kommunizierten mit ihrem Auftraggeber über die Chat-App Telegram. Facebook und Twitter fanden technische Hinweise und CNN fand weitere inhaltliche Evidenz, dass die russische IRA hinter der angeblichen NGO in Ghana steckte – freilich aber keine Beweise. Für Linville ist klar: „Hier wurde das Risiko aus Russland ausgelagert, zudem ist die Arbeit in Ghana billig. Sie haben eindeutig russische Taktiken verwendet, aber vieles, worüber ich nicht sprechen kann.“

Die Black Lives Matter Global Network Foundation sei sich sehr wohl bewusst, dass ihre Arbeit von fremden Kräften instrumentalisiert werde, sagte deren Direktorin Kailee Scales dem CNN – „wir werden das nicht geschehen lassen.“

Andererseits könnte die neue Solidarität der K-Pop-Community, die Linvill alarmiert, auch echt sein: Reales Solidarität echter Menschen, die auf Twitter sehr gut vernetzt sind und schon den ein oder anderen Hashtah gekapert haben. Das zumindest hat die Anthropologin Gabriella (Biella) Coleman der McGill University an einem anderen Beispiel auf Twitter nachvollzogen, nachdem ihr auch auffällige Muster in den Tweets zu BLM aufgefallen waren und sie zunächst davon ausgegangen war, dass hier ein Trend künstlich verstärkt wird. Der freie Journalist Justin Ling hingegen war schon einige Tage vorher auf auffällige Häufungen von K-Pop Tweets zu Rassismus-Themen gestoßen und hatte ebenfalls eine aktive Verstärkung durch Bots vermutet. Doch: „Das scheint nicht der Fall“, schreibt er schließlich, „Es ist durchaus möglich, dass einige Bots verwendet wurden, um diese Geschichte zu verstärken, aber es scheint tatsächlich, dass es eine bedeutende Anzahl von K-Pop-Fans gibt, die sich aktiv mit BLM-Themen beschäftigen.“

Linvill hat beobachtet, wie diese Community kürzlich den Hashtag #WhiteLivesMatter amerikanischer Rechter gekapert und einfach umgedeutet hat. „Sie sprechen sich im Hintergrund auf anderen Plattformen ab und schlagen dann gleichzeitig zu“, sagt Linville. Seither ist der Rassismus unter diesem Hashtag verschwunden.

Der Ursprung der Trends ist oft nur schwer nachvollziehbar

Im Einzelfall herauszufinden, „was wirklich war“, sei schier unmöglich, stimmt auch Linvill zu: „Verschwörungstheorien verbreiten sich auch auf organische Weise, es gibt Menschen mit seltsamen Ansichten, und wenn sie dann durch den Twitter-Algorithmus verstärkt werden, sieht es nach fake aus, kann aber durchaus real sein. Das macht unsere Arbeit sehr viel schwieriger.“ Selbst Marcie Berry, die sehr glaubhaft eine junge, aufgebrachte Frau ist, die sich auf Twitter viel mit den Demonstrationen beschäftigt, könnte eine in einer Trollfabrik wie in Ghana aufwendig kreierte „Persona“ sein, hinter der natürlich ein echter Mensch sitzt, nur eben nicht sie selbst – und das lässt sich nicht überprüfen außer von ihren direkten Freundinnen und Freunden. Selbst eine direkte Anfrage auf Twitter ergibt keinen Sinn, da die Person hinter der Persona ebenso authentisch und empört antworten würde, dass es sie natürlich gebe.

Das gilt selbst für den Fall in Ghana, der die Unmöglichkeit zeigt herauszufinden, was wirklich ist: selbst wenn der CNN und die beteiligten Forscher sehr viele Indizien zusammengetragen haben, dass diese Kampagne aus Russland gesteuert wird und die Troll-Fabrik sogar vor Ort in Ghana besucht haben: es gibt keinen endgültigen Beweis dafür. Natürlich hat Russland dies am Ende nicht bestätigt (dafür bräuchte man einen Spion in den russischen Reihen – und den gibt es vermutlich sogar, nur gehört es zur Natur von Spionen, nicht mit den Medien zu sprechen). Auch der direkte Auftraggeber leugnete es, und die von CNN befragten Mitarbeiter selbst gaben an, nicht zu wissen, für wen sie arbeiteten. Nur eines ist sicher: organisch waren die Inhalte nicht, die sie produzierten. Ihr Auftrag lautete, Themen zu verstärken.

„Wir müssen uns von dem Gedanken verabschieden, dass hinter jedem einzelnen Like ein Mensch steckt“, sagt Lena Frischlich. Wenn es um gesteuerte Desinformations-Kampagnen geht, steuert oft ein Mensch viele Accounts, und aus echten Personen werden Personas. Es lässt sich nur im Einzelfall häufig schwer nachweisen – zumindest ohne geheimdienstliche Methoden. „Entscheidend ist: wer versucht zu manipulieren?“ Nicht: wer ist ein Bot.

„Sicher ist nur: es gibt diese Gelegenheitsstruktur im Netz“, sagt Frischlich, „sie folgt einer Marktlogik und ist günstig und einfach einzusetzen“ – und sie muss es wissen, sie hat es schließlich selbst ausprobiert. „Und es ist jedem klar, dass hybride Kriegsführung inzwischen zum Geschäft gehört.“ In der Tat bestätigt der Amerikaner Linvill, der überzeugt ist, dass hinter vielen der großen Desinformationskampagnen die Russische Internet Research Ageny steckt – dass es auch seitens des US-Militärs sehr großes Interesse gibt an diesen Technologien. Günstig sei diese Art der feindlichen Einflussnahme obendrein: „Das gesamte IRA-Budget beträgt nur einige Zig-Millionen“, sagt Linville, „ein durchschnittliches amerikanisches Kampfflugzeug kostet 300 Millionen.“ Es wäre naiv zu glauben, dass die günstige Gelegenheit zu systematischer Manipulation nicht genutzt wird.