Gehackte Diagnosen

Lernfähige Algorithmen, die medizinische Daten verarbeiten, lassen sich leicht täuschen. Forscher skizzieren Missbrauchsszenarien

Gegen optische Täuschungen sind wir Menschen machtlos. Zwei gleich große Kreise erscheinen uns unterschiedlich groß, wenn der eine von größeren und der andere von kleineren Kreisen umgeben ist. Auch das Wissen über dieses Phänomen behebt die Täuschung nicht. Sie ist eingebaut in unserer Art, Dinge wahrzunehmen.

Bei künstlicher Intelligenz (KI) gibt es etwas Analoges: Die Art, wie sie Objekte auf Bildern erkennt, lässt sich leicht manipulieren. Das Verteufelte daran sind zwei Aspekte: Zum einen gelingt die Täuschung durch minimale, von Menschen nicht wahrnehmbare Veränderungen auf dem Bild. Zum anderen gibt es bisher kein wirksames Gegenmittel.

Nun warnen Forscher, dass sich auf diese Weise auch medizinische Diagnosen hacken lassen. Die Wissenschaftler demonstrieren, wie Bilder gutartiger Melanome von der KI als bösartiger Hautkrebs klassifiziert werden. Das Prinzip lässt sich auch auf andere medizinische Daten anwenden. Derlei könne zu Versicherungsbetrug oder zu gewollt falschen Diagnosen führen, schreiben die Forscher um Samuel G. Finlayson von der Harvard Medical School in Boston im Fachmagazin Science. Auch für Ärzte gebe es Motive, die Diagnosen zu manipulieren, spekulieren sie.


Lernfähige Algorithmen werden immer besser darin, anhand medizinischer Daten Diagnosen zu stellen. Eine von Heidelberger Forschern entwickelte KI erkennt Hautkrebs zuverlässiger auf Fotos als ein Team von Dermatologen. Aus Röntgenbildern lesen speziell trainierte Algorithmen, ob ein Lungenkrebspatient auf eine bestimmte Therapie ansprechen wird oder nicht. Dabei verarbeitet er Bilddetails, die ein Arzt nicht wahrnimmt.

Helfer in der medizinischen Datenflut

Den Nutzen von KI kann ein medizinischer Alltag, der immer mehr diagnostische Daten produziert, kaum ausblenden. Algorithmen helfen Ärzten bereits heute bei Entscheidungen. Die amerikanische Arzneimittelbehörde FDA hat im April 2018 eine KI zugelassen, die auf Bildern der Netzhaut Anzeichen einer bestimmten von Diabetes hervorgerufenen Krankheit findet. Die KI namens „Watson“ des IT-Unternehmens IBM berät Krebsärzte bei der Suche nach der vielversprechendsten Therapie.

Der Einzug von KI in den medizinischen Betrieb löst Unbehagen aus, meist aus zwei Gründen. Erstens, weil die Maschinen ihre Entscheidungen nicht begründen können. Forscher arbeiten unterdessen an erklärenden KIs. Zweitens, weil sie Fehler machen. So hat die KI Watson Krebstherapien empfohlen, die Patienten wohl getötet hätten, wären die Ärzte der Maschine gefolgt.

Die zusätzliche Möglichkeit der Manipulation stand bislang jedoch kaum auf der Agenda der Kritiker. Dabei haben Experten seit 2014 mehrfach gezeigt, wie leicht sich lernfähige Algorithmen spektakulär täuschen lassen.

Forscher um Christian Szegedy von Google manipulierten Bilder eines Schulbusses, einer antiken Pyramide, eines Huhns, einer Gottesanbeterin und eines Hundes. Sie legten sie einer hochwertigen Bilderkennungssoftware vor, die zuvor viele Wettbewerbe gewonnen hatte. Auf allen Bildern wollte die Maschine einen Vogel Strauß erkennen. In einer anderen Arbeit brachten sie den Algorithmus dazu, ein Bild, auf dem jeder Mensch einen Panda erkennen würde, als Foto eines Gibbons einzuordnen.

Angreifer schlagen KI mit ihren eigenen Waffen

Das Perfide daran: Das Störsignal sieht für Menschen wie formloses Rauschen aus und ist zudem sehr schwach. Also verändert es das Bild unauffällig. Was diese „adversarial attack“, zu deutsch etwa „gegensätzlicher Angriff“, genannte Methode außerdem gefährlich macht: Sie nutzt den Mechanismus, mit dem die KI lernt. Sie kehrt somit die Stärke des Algorithmus gegen ihn selbst.

Beim herkömmlichen Training zeigt man dem Algorithmus Bilder und sagt ihm, was darauf zu sehen ist, Pandas oder Gibbons etwa. Die Pixel des Bildes durchlaufen dabei ein vielschichtiges Netz aus künstlichen Neuronen („neuronales Netz“), werden dabei immer weiter kondensiert bis sie nur noch zwei Werte annehmen können, „Panda“ oder „Gibbon“. Durch viele Beispiele justieren sich die Neuronen selbst so, dass sie allgemeine Merkmale der beiden Tierarten unterscheiden. Landet ein Bild in der falschen Schublade, kehrt sich der Prozess um. Er sendet die Abweichung rückwärts durch das neuronale Netz. Dabei zeigt sich, welchen Neuronen am stärksten an der Entstehung des Fehlers beteiligt sind. Diese werden neu justiert.

Der Angreifer macht es aber ein bisschen anders. Statt die Neuronen neu einzustellen, lässt er den Fehler den ganzen Weg zurück bis zum Eingang des neuronalen Netzes laufen. Dort kommen dann viele Pixel heraus, die keine erkennbare Struktur zeigen, sozusagen das Porträt des Fehlers, das der Angreifer als Störsignal verwendet. In Analogie zur optischen Täuschung könnte man sagen: Das Verfahren verwendet den Wahrnehmungsapparat der KI, um das Störsignal zu erzeugen.


Durch Überlagerung eines für Menschen formlosen, aber gezielt berechneten Musters wird die KI gezwungen, statt einen Panda einen Gibbon zu erkennen

Der Angreifer überlagert das Fehlerporträt dem Bild eines Pandas. Die Manipulation, auch wenn sie die wahren Pixel kaum verfälscht, zwingt den Algorithmus, einen Gibbon auf dem Bild zu erkennen. Ähnliches geht auch mit neuronalen Netzen, die Audiodaten verarbeiten. Mit etwas, das einfach nur nach Rauschen klingt, lässt sich ein Spracherkennungssystem so foppen, dass es schriftlich völlig anderes lautende Sätze ausgibt, als der Sprecher gesagt hat, wie deutsche Forscher um Lea Schönherr von der Ruhr-Universität Bochum zeigten. Eine Demo findet sich hier.

In ihr Gegenteil verdrehen konnten die Bostoner Forscher um Finlayson die Erkennung von Melanomen als bös- oder gutartig. Das Foto eines Melanoms, das die KI korrekterweise zu 99 Prozent als gutartig einstufte, klassifizierte sie nach der Manipulation mit der gleichen Sicherheit als bösartig.

Gutmeinende Ärzte könnten zu Tätern werden

Die Forscher warnen nun vor Missbrauch im Medizinbetrieb. „Dafür gibt es ein ganzes Spektrum an Motivationen“, schreiben sie. Konkret nennen sie drei Beispiele. Beim ersten geht es um die Entlohnung von ärztlichen Leistungen durch die Krankenversicherung. Angenommen, die Versicherung verlangt vor der Erstattung, dass das Bild eines Melanoms durch einen Klassifizierungs-Algorithmus geschickt wird. Dann könnten Betrüger das Foto durch „gegensätzliche Angriffe“ in ihrem Sinne verfälschen.

Beim zweiten Beispiel könnte die gute Absicht von Ärzten, die bestmögliche Therapie zu gewähren, sie zur Manipulation bewegen. In den USA werden Algorithmen eingesetzt, um das Risiko eines Patienten für eine Überdosierung von Schmerzmitteln zu berechnen. Ein Arzt, so die Bostoner Forscher, der überzeugt ist, sein Patient brauche dringend Schmerzmittel, könnte versucht sein, das Verfahren mit gegensätzlichen Angriffen zu manipulieren.

Schließlich, schreiben die Experten, könnten Pharmafirmen oder Hersteller von Medizingeräten die die Zulassung ihrer Produkte mit gegensätzlichen Angriffen befördern. Dieses Szenario erscheint vor dem Hintergrund realistisch, dass immer mehr gesundheitsrelevante Daten von Wearables erhoben werden. Regulierungsbehörden könnten Algorithmen, die die Daten vor und nach einer Therapie auswerten, zur Entscheidung für oder gegen die Behandlung nutzen. Das weckt Begehrlichkeiten, die Daten zu manipulieren.

Schwieriger Balanceakt

Die Bostoner Experten warnen indessen davor, medizinische KI-Systeme voreilig gegen solche Angriffe absichern zu wollen. Dies könne den Fortschritt in dem Bereich bremsen und daher Patienten Nutzen vorenthalten. Zudem sei es schwierig, alle künftigen Arten von Angriffen vorauszusehen. Wie bei Spam oder Computerviren handele es sich um ein Katz-und-Maus-Spiel.

Sie schlagen vor, Standards im Umgang mit medizinischen Daten einzuführen. So könnten medizinische Daten schon bei der Erfassung so markiert werden, dass jede spätere Veränderung feststellbar wird. Dies könne mit so genannten Hash-Werten gelingen, eine Art digitaler Fingerabdruck einer Datei.

Es sei nötig, so die Experten, eine Balance zwischen Sicherheit und Nutzen medizinischer KI-Systeme zu finden.

Flatrate ab 8 € RiffReporter unterstützen
KI für alle