Gefälschte Covid-Studien: Betrug und Schummelei in der Forschung entlarven

Mehr Patient*innen als gemeldete Covid-Fälle, merkwürdige Dopplungen, offensichtliche Widersprüche: Wenn das in einer wissenschaftlichen Veröffentlichung auffällt, liegt der Verdacht nah, dass es in der Studie nicht mit rechten Dingen zugegangen ist: Im besten Fall hatten die Forschenden ihre Ergebnisse nicht im Griff, im schlechtesten Fall sind Daten gefälscht oder gar vollständig erfunden. Darf eigentlich nicht passieren, tut es aber doch.

Zahlreiche Studien zu Covid-19 werden zurückgezogen

Vor Mauscheleien schützt offensichtlich auch nicht der Peer Review, also die Begutachtung, bevor Studienergebnisse in einer wissenschaftlichen Fachzeitschrift publiziert werden. Zu dieser Einschätzung muss man kommen, wenn man das Watchblog „Retraction Watch“ verfolgt. Die Seite listet wissenschaftliche Publikationen auf, die nach der Veröffentlichung wieder zurückgezogen werden mussten: Manchmal wegen Schlamperei, manchmal wegen eines Verstoßes gegen ethische Grundsätze – manchmal aber auch, weil gefälschte Daten aufgefallen sind.

Solche Probleme sind in der Pandemie keine Seltenheit. Retraction Watch kennt inzwischen mehr als 260 zurückgezogene Veröffentlichungen rund um SARS-CoV-2 und Covid-19. Hinzu kommen einige mit einem „expression of concern“: Bei diesen haben die Herausgeber der Zeitschrift zwar Hinweise auf Unregelmäßigkeiten erhalten, sie reichen aber noch nicht aus, um die Veröffentlichung zurückzuziehen.

Unzuverlässige Auswertungen: Gefahr für die Gesundheitsversorgung

Bei Behandlungen gegen Covid-19 sticht in der Liste besonders ein Wirkstoff heraus: Ivermectin. Das Mittel gegen Parasiten wurde von einigen Staaten, etwa Peru, zu Beginn der Pandemie offiziell zum Schutz vor einer Infektion oder zur Behandlung von Covid-19 empfohlen – basierend auf Studien, die zu einem vermeintlich positiven Ergebnis gekommen waren.

Inzwischen mussten für Ivermectin allerdings mindestens zwölf Studien-Veröffentlichungen zurückgezogen werden. Und das ist vermutlich nur die Spitze des Eisbergs: In dieser Zahl nicht enthalten sind Publikationen, die bisher nicht in Fachzeitschriften, sondern lediglich auf Preprint-Servern publiziert wurden. Und natürlich diejenigen, bei denen Manipulationen bisher nicht entdeckt wurden oder bei denen die Herausgeber erst noch entscheiden müssen, wie sie mit identifizierten Unregelmäßigkeiten umgehen sollen. Bis zu einem Ergebnis, etwa einem Rückzug der Studie, kann viel Zeit vergehen.

Diese Situation ist ein Alptraum für all diejenigen, die verlässliches Wissen zu Covid-19-Behandlungen zusammenstellen wollen, etwa in systematischen Übersichtsarbeiten (Reviews) des Forschungsnetzwerks Cochrane. Werden Studien offiziell zurückgezogen, heißt das: Die bestehenden Analysen müssen angepasst werden. Wenn das nicht oder nicht schnell genug passiert, wie es bei einigen Übersichtsarbeiten wohl der Fall ist, zirkulieren irreführende Auswertungen mit verzerrten Ergebnissen. Das ist kein rein akademisches Problem, sondern führt im Fall von Covid-19 dazu, dass Patient*innen unwirksame, im schlechtesten Fall sogar schädliche Therapien erhalten.

Wie lassen sich unzuverlässige Studien erkennen?

Es ist also vermutlich kein Zufall, dass sich ausgerechnet das Forschungsteam des Cochrane-Reviews zu Ivermectin mit der Frage beschäftigt hat, wie man eigentlich unzuverlässige oder gar mutmaßlich gefälschte oder fehlerhafte Studien identifizieren kann, selbst wenn sie (noch) nicht zurückgezogen wurden. Auf der Basis einer Expertenbefragung und anderer Checklisten für integre wissenschaftliche Publikationen haben sie ein Tool entwickelt, mit dem sich Warnzeichen für möglicherweise problematische Studien erkennen lassen. Dazu gehören beispielsweise:

• Die Studie ist nicht in einem Studienregister verzeichnet, die ersten Patient*innen wurden bereits vor der Registrierung in die Studie aufgenommen oder es gibt Widersprüche zwischen dem Registereintrag und der Publikation.

• Bei Studien mit menschlichen Probanden fehlen ausreichende Angaben zur Genehmigung durch eine Ethikkommission. Solche Gremien sollen die Rechte und die Sicherheit der Teilnehmenden in Studien schützen.

• Angaben zu den Autor*innen der Publikation sind nicht plausibel oder es gibt Abweichungen zu offiziellen Angaben, etwa in Bezug auf die Institutionen, zu denen sie gehören.

• Die Beschreibung der Methoden bleibt vage oder ist unplausibel, etwa bei der Zuordnung von Studienteilnehmenden auf die Vergleichsgruppen.

• Die Ergebnisse sind nicht plausibel. Das kann zum Beispiel die Anzahl der rekrutierten Teilnehmenden innerhalb eines bestimmten Zeitfensters betreffen. Oder eine übergroße Ähnlichkeit der Vergleichsgruppen zu Beginn der Studie sein. Es kann auch Widersprüche zwischen Text, Tabellen und Abbildungen geben oder offensichtliche Rechenfehler beziehungsweise einen auffällig guten Behandlungserfolg.

Allerdings wird es häufig schwierig sein, Fälschungen anhand solcher Kriterien definitiv zu überführen. Für Forschende ergeben sich durch sie aber weitere Optionen. So sind die Cochrane-Teams angehalten, in solchen Fällen bei den Studienautor*innen nachzufragen oder – wenn das zu keinem zufriedenstellenden Ergebnis führt – auch die Herausgeber der betreffenden Journals zu informieren. Identifiziert das Team Studien als problematisch, kommen diese in der systematischen Übersichtsarbeit in Quarantäne („studies awaiting classification“), bis die offenen Fragen geklärt sind. Beim Nachweis von Betrug werden die Studien schließlich ganz ausgeschlossen.

Was das für Ivermectin heißt

Im Review zu Ivermectin konnte das Cochrane-Team mit Hilfe des Tools neun Studien ganz ausschließen und elf vorläufig in Quarantäne schicken. Auf der Basis der verbleibenden elf Studien kam der systematische Review zu dem Ergebnis, dass bei Covid-19-Patient*innen, die nicht im Krankenhaus behandelt werden müssen, Ivermectin vermutlich keinen relevanten Nutzen hat. Bei schweren Verläufen ist ein Nutzen bisher ebenfalls nicht belegt. Allerdings kursieren immer noch zahlreiche irreführende Übersichtsarbeiten, die Ivermectin eine überragende Wirksamkeit attestieren: Sei es, weil sie problematische Studien nicht ausschließen oder nicht sauber arbeiten.

Die massiven Probleme bei den Ivermectin-Studien haben inzwischen auch weitergehende Forderungen laut werden lassen. Studienübergreifende Analysen (Meta-Analysen) greifen bisher meist auf die zusammenfassenden Auswertungen der einzelnen Studien zurück. Damit sind absichtliche Fälschungen oft in den Statistiken versteckt. Müssten die Autor*innen der Einzelstudien, zumindest für Behandlungen bei Covid-19, individuelle Patientendaten (IPD) der einzelnen Teilnehmenden in anonymisierter Form zur Verfügung stellen, ließen sich Fälschungen leichter durchschauen. Dann könnten andere Forschende in Meta-Analysen, aber auch bereits im Peer Review statistische Auffälligkeiten in den Zahlen besser entdecken. Am Beispiel des Covid-19-Medikaments Remdesivir wird auch deutlich, wie sich mit Hilfe kleinteiligerer Daten noch besser herausfinden ließe, wer von einer Behandlung profitiert und wer nicht.

Allerdings ist dieses Vorgehen bisher noch nicht umfassend etabliert, weder beim Teilen der Daten noch bei der dann deutlich aufwändigeren Meta-Analyse. Profitieren würden aber vermutlich alle, die für sich selbst oder andere Entscheidungen für oder gegen eine bestimmte Behandlung treffen müssen.