KI in der Medizin: Kann man Dr. Algorithmus trauen?

Boris Babics Spezialgebiet sind Entscheidungen. Diese müssen nicht immer erklärbar sein, findet der Philosoph und Statistiker von der Universität Toronto. Auch dann nicht, wenn eine künstliche Intelligenz (KI) sie trifft und es womöglich um Leben und Tod eines Patienten geht. Babic warnt sogar davor, von allen medizinischen Algorithmen Transparenz zu fordern: „Vorsicht vor Erklärungen von KI im Gesundheitswesen“, schreibt er mit Fachkollegen in einem Meinungsartikel im Wissenschaftsmagazin „Science“.

Das Thema ist brisant. In der Europäischen Union gibt es 240 für medizinische Zwecke zugelassene KI-Algorithmen, gut die Hälfte davon in der Radiologie. Dort wächst die Menge der Bilddaten schneller als die Anzahl von Experten, die die Bilder lesen können.

Der Preis der Präzision

Die Algorithmen sind nicht nur schnell, sondern auch präzise. Allein aus der Aufnahme eines Gebärmutterkrebses entscheidet eine KI an der Uniklik Essen mit 95 Prozent Genauigkeit, ob der Tumor bereits Metastasen gebildet hat oder nicht. Der Algorithmus „blickt ganz tief in die Biologie des Tumors“, sagt Michael Forsting, Direktor des dortigen Instituts für Radiologie, der die Technik entwickelt hat.

Ein anderer Algorithmus wertet Bilder von Hautauffälligkeiten aus und erkennt präzise und schnell, ob ein Muttermal gut- oder bösartig ist. Ein weiterer verrechnet Muster in Vitalparametern von Krankenhauspatienten, zum Beispiel Blutdruck, Atemfrequenz und Sauerstoffsättigung, und alarmiert schon Stunden im Voraus, wenn ein Herztod droht.

Doch hohe Präzision hat ihren Preis. Die darauf getrimmte Form der KI, so genannte neuronale Netze, funktioniert wie eine Blackbox: Bekannt sind nur die Eingabe und das Ergebnis, nicht aber, wie die KI vom Einen zum Anderen kommt. Das liegt an der Komplexität der Software. Diese ist dem menschlichen Gehirn nachempfunden: Tausende virtueller Neuronen weisen untereinander Millionen von Verknüpfungen auf. Beim Lernprozess stellt die KI diese Verknüpfungen selbständig unterschiedlich stark ein. Sie „trainiert“.

Während des Trainings bekommt die KI Daten, für die zuvor bereits zuverlässige Diagnosen von menschlichen Experten gestellt wurden. Sie justiert sie ihre Millionen Parameter so, dass die Trainingsfälle jeweils richtig eingeordnet werden. Fortan kategorisiert sie auch unbekannte Daten präzise, also nur sehr selten falsch. Die Stärke der vielen Verknüpfungen erklärt aber eine Entscheidung genauso wenig, wie sich die Wahl für ein bestimmtes Automodell aus den Nervenverbindungen im Gehirns des Käufers lesen ließe. Dafür ist der Ansatz zu komplex.

Bremst die Regierung den Fortschritt in der KI?

Die Bundesregierung lehnt solche Algorithmen ab: „Entscheidungen müssen sich nachvollziehen lassen, damit KI-Systeme als vertrauenswürdig akzeptiert werden können und rechtlichen Anforderungen genügen“, schreibt sie in ihrer KI-Strategie. Auch die EU-Kommission fordert in ihrem Vorschlag für ein europäisches KI-Gesetz transparente Algorithmen. Nur dann sollen europäische KI-Produkte das Label „vertrauenswürdig“ tragen dürfen.

Also arbeiten Forscher daran, aus der Blackbox eine „Whitebox“ zu machen. Sie entwickeln Techniken, die die Entscheidung einer KI im Nachhinein erklären. Das Gebiet ist sehr aktiv, es scheint einen Konsens zu geben, dass Algorithmen nachvollziehbar sein sollten.

Doch dieses Ziel bringe nicht die Vorteile, die man sich erhoffe, entgegnet das Team um Boris Babic im aktuellen „Science“-Artikel. Die Forscher sehen im Gegenteil sogar den Fortschritt gehemmt. Denn viele Algorithmen, die für die Medizin schon zugelassen sind oder derzeit entwickelt werden, gehören zum Typ Blackbox. Man könnte zwar stattdessen regelbasierte Algorithmen einsetzen, deren Entscheidungswege klar nachvollziehbar seien. Dann verzichte man aber auf Präzision, betonen Babic und Kollegen. Diese sei aber bei vielen KIs entscheidend – etwa bei einem Produkt, das mit Hilfe von EKG-Daten 15 Arten von Herzrhythmusstörungen unterscheiden kann.

Erklärungen garantieren kein Verstehen

Die Entscheidungsforscher bezweifeln zudem, dass aus Erklärbarkeit zwangsläufig Vertrauen resultiert. Die Erklärungen seien gar keine wirklichen Erklärungen, sondern Interpretationen. Sie würden wie folgt konstruiert: Ein zweiter, regelbasierter Algorithmus versucht, die Blackbox zu simulieren, sich also deren Ergebnissen anzunähern. Das sei ein „Ersatz-Verstehen“, meinen Babic und Kollegen. Die so gefundenen Gründe für die Entscheidung seien nicht unbedingt die wahren Gründe. Die Blackbox werde ja nicht wirklich geöffnet. „Das garantiert kein verbessertes Vertrauen“, schreiben er und Kollegen.

Auch um die Ursache für einen Fehler zu finden, eigneten sich die Ersatz-Erklärungen nicht und damit auch nicht als Basis für Haftungsfragen, schreibt das Team.

Kurz: Die sogenannte erklärbare KI erfüllt gemäß Babic nicht den Zweck, den Bundesregierung oder die EU damit verbinden.

Die Regulatoren sollten sich lieber auf die Sicherheit und Effektivität von Blackbox-Algorithmen konzentrieren, fordern Babic und Kollegen. Etwa mit soliden klinischen Studien, wie sie auch für Arzneien durchgeführt werden. Durch den Vergleich mit einer Kontrollgruppe würde dabei anhand vieler Fallbeispiele festgestellt, ob der Algorithmus tatsächlich präziser entscheidet, als ein alternatives Verfahren.

„Es muss benennbare Verantwortliche geben“

Falls ein Blackbox-Algorithmus beispielsweise bei der Entscheidung über die Zuteilung von Nierentransplantaten tatsächlich hundert Mal genauer sei, könnten viele Todesfälle verhindert werden, räumt Peter Dabrock, Theologe an der Uni Erlangen-Nürnberg und Ex-Vorsitzender des Deutschen Ethikrates gegenüber dem Science Media Center Germany ein. Unkritisch zur effektiven Blackbox zu wechseln, sei aber nicht die Lösung. Algorithmen seien nicht isoliert zu betrachten, sondern Teil eines komplexen Systems von Mensch und Technologie. Menschen müssten Letztentscheider bleiben. Die KI könne „die schwierige Entscheidungsfindung unterstützen und Entscheidungen optimieren.“ Die Interaktion zwischen Mensch und Maschine müsse im Sinne eines geteilten Entscheidungsprozesses weitergedacht werden.

Am Ende müsse es aber immer benennbare Verantwortungsträger geben, sagt Dabrock und fährt fort: „Egal wie der Algorithmus entschieden hat, ein Mensch muss die Entscheidung rechtfertigen können. Wo dies nicht möglich ist, versagen KI-Systeme und verdienen kein Vertrauen.“

Blackbox Arzt

Ganz so hart zieht Robert Ranisch von der Universität Potsdam die Grenze nicht. „Auch der Kopf ihres Arztes kann für eine Patientin eine Blackbox darstellen“, gibt der Medizinethiker zu bedenken. „Diagnosen und Therapien werden niemals fehlerfrei sein und das Netz an Akteuren – Menschen, Maschinen und den Menschen dahinter – wächst in der digitalen Medizin zunehmend. Alle können die Quelle von Fehlern sein.“ Es werde immer schwieriger, eine konkrete Person verantwortlich zu machen. „Es mag unbefriedigend sein, aber vielleicht müssen wir uns an eine Art verteilte Verantwortung gewöhnen“, sagt Ranisch.