Studien in Fachzeitschriften – Geprüft und für gut befunden?

Wenn du versuchst herauszufinden, ob eine Studie zu einem neuen Medikament aussagekräftig ist, stellst du vermutlich schnell fest: Die Sache ist kompliziert. Wenn die Studie in einer renommierten wissenschaftlichen Fachzeitschrift erschienen ist, die sich rühmt, eine strenge Begutachtung zu haben, wird sie aber schon in Ordnung sein, oder? Ganz im Gegensatz zu den vielen Studien, die gerade in Corona-Zeiten irgendwo im Internet abgelegt werden. Solchen Vorab-Veröffentlichungen oder „Preprints“ ist doch sicherlich nicht zu trauen …

Vielleicht hast du solche oder ähnliche Diskussionen schon irgendwo gesehen oder gelesen. Und dich dann womöglich gewundert, wenn auf der Basis von Preprints auf einmal weitreichende politische Entscheidungen getroffen werden oder umgekehrt bekannte Zeitschriften auf einmal spektakuläre Studien zurückziehen müssen – so wie es Anfang Juni 2020 bei den Fachzeitschriften The Lancet und New England Journal of Medicine mit zwei Artikeln zu Covid-19 passiert ist.

Welche Schlussfolgerungen lassen sich aus der Art und dem Ort der Veröffentlichung tatsächlich ziehen? Was musst du zu Preprints und wissenschaftlicher Begutachtung wissen, wenn es um Gesundheitsentscheidungen geht?

Das Wichtigste in Kürze

Garantiert die Publikation in einer hochrangigen Fachzeitschrift mit Fach-Begutachtung eine hohe Aussagekraft der Studie? Und wie verlässlich sind Preprints? Die kurze Antwort auf beide Fragen: Das kommt darauf an. Peer Review hat einen Wert, aber auch seine Grenzen. Und was du in Kürze zu Preprints wissen musst, findest du in dieser Corona-FAQ der Riffreporter.

Begehrt: Publikationen in renommierten Fachzeitschriften

Eis mit Schokoladensoße, Sahne, Waffel und Streusel – für viele Kinder wohl das höchste der Gefühle in Sachen Nachtisch. Wenn du Wissenschaftler*innen danach fragst, wovon sie so träumen, bekommst du eher eine andere Antwort: Eine Publikation in Nature, Science, The Lancet oder einer ähnlich renommierten Fachzeitschrift.

Solche Zeitschriften, im Fachjargon auch häufig kurz „Journals“ genannt, sind bekannt dafür, dass sie nur einen Bruchteil der eingereichten Studien veröffentlichen. Und bevor Arbeiten publiziert werden, werden sie von Fachkolleg*innen begutachtet, die den Daumen heben oder senken. Diese Begutachtung wird auch als Peer Review bezeichnet. Wer den Peer Review übersteht und in einer dieser angesehenen Zeitschriften veröffentlicht, hat Neid und Anerkennung seiner Kolleg*innen sicher. Die Chancen stehen gut, dass eine Studie, die in einer solchen Zeitschrift veröffentlicht wurde, viel gelesen und zitiert wird. Das wertet das eigene Renommee enorm auf.

Peer Review: Langwieriger Prozess

Der Weg dorthin ist jedoch in der Regel ziemlich steinig und langwierig. Die Veröffentlichung von wissenschaftlichen Ergebnissen funktioniert traditionell so:

1. Die Wissenschaftler*innen beschreiben ihre Forschungsergebnisse in einem Manuskript, das in der Regel einem standardisierten Format folgt.
2. Dieses Manuskript reichen sie bei einer wissenschaftlichen Zeitschrift ein.
3. Die Redaktionsleitung prüft, ob das Thema der Studie zum Themengebiet der Zeitschrift passt und wichtig ist und ob das Manuskript den Formalien entspricht. Je nach Zeitschrift findet hier ein erster grober Plausibilitätscheck statt.
4. Ist diese erste Prüfung erfolgreich absolviert, wird das Manuskript an Gutachter*innen geschickt, die die Studie detailliert prüfen (Peer Review). Die Gutachten kommen dann in der Regel zu einer von drei Einschätzungen: Akzeptieren (ggf. mit kleineren Änderungen) – Akzeptieren unter Vorbehalt (wenn größere Änderungen notwendig sind) – Ablehnen
5. Die Redaktionsleitung sammelt die Gutachten und holt bei stark abweichenden Meinungen möglicherweise weitere Gutachten ein. Die Gutachten (bzw. die wichtigsten Teile davon) werden an die Autor*innen geschickt, die bei Annahme des Manuskripts in der Regel noch kleinere oder größere Änderungen vornehmen müssen.
6. Das bearbeitete Manuskript geht oft nochmal an die Gutachter*innen, die prüfen, ob die gewünschten Änderungen umgesetzt worden sind. Im Idealfall geben sie dann grünes Licht.
7. Die Redaktionsleitung sammelt auch diese Gutachten und trifft eine finale Entscheidung über Annahme oder Ablehnung des Manuskripts.
8. Ein angenommenes Manuskript erhält je nach Zeitschrift noch etwas sprachlichen Feinschliff, wird gelayoutet und erscheint dann online und/oder im Druck.

Selbst wenn ein Manuskript so für die Veröffentlichung akzeptiert wird, dauert es also oft mehrere Monate (oder länger), bis die Studie schließlich erscheint. Wird die Arbeit bei der ersten Einreichung abgelehnt und muss bei weiteren Zeitschriften eingereicht werden, geht noch mehr Zeit ins Land. Dass eine Studie nicht zur Publikation angenommen wird, bedeutet nicht, dass es sich um schlechte Wissenschaft handelt. Manchmal findet die Redaktionsleitung die Fragestellung der Studie nicht wichtig genug oder es wurden gerade weitere Studien eingereicht, die noch interessanter erscheinen. Wird eine Arbeit schließlich publiziert, ist sie oft nicht frei zugänglich, sondern liegt hinter einer Paywall.

Preprints: Einfach schneller

Um Fachkolleg*innen schneller an neuen Erkenntnissen teilhaben zu lassen und auch, um das Problem der Paywalls zu umgehen, haben sich – je nach Wissenschaftszweig seit kürzerer oder längerer Zeit – „Preprint-Server“ etabliert. Auf solchen Internet-Plattformen können Wissenschaftler*innen ihre Manuskripte veröffentlichen, sodass sie in kurzer Zeit und für alle verfügbar sind. Das ist ein Grund, warum zum Beispiel gerade in Corona-Zeiten Preprint-Server noch stärker als sonst genutzt werden, denn es gibt einen hohen Bedarf, möglichst schnell neue Forschungsergebnisse verfügbar zu haben.

Diese „Preprints“ oder „Vor-Veröffentlichungen“ haben ihren Namen daher, dass sie bereits vor der Veröffentlichung in einer „richtigen“ Zeitschrift zur Verfügung stehen. Allerdings erlauben bei Weitem nicht alle wissenschaftlichen Fachzeitschriften, dass Wissenschaftler*innen eingereichte Manuskripte auch auf einem Preprint-Server ablegen – andere jedoch ermutigen Einreichende explizit dazu und/oder betreiben sogar eigene Preprint-Server, auf denen eingereichte Manuskripte vor der Begutachtung erscheinen. Umgekehrt werden aber auch nicht alle Manuskripte auf (anderen) Preprint-Servern tatsächlich bei einem Journal eingereicht und durchlaufen den Peer Review.

Sind Preprints unzuverlässiger?

Wichtig zu wissen bei Manuskripten auf Preprint-Servern: Sie werden vor der Veröffentlichung nicht begutachtet. Zum Beispiel durchlaufen Manuskripte auf medRXiv, dem Preprint-Server für medizinische Studien, nur einen Schnell-Check: Handelt es sich wirklich um einen Forschungsartikel und nicht nur einen Kommentar? Entspricht die Gliederung der für wissenschaftliche Manuskripte üblichen? Und besteht die Gefahr, dass einzelne Patient*innen oder die Bevölkerung Schaden durch diese Studie nehmen, wenn es also zum Beispiel um riskante Therapien geht? [1] In Zeiten der Corona-Pandemie haben einige Preprint-Server auch noch weitere Checks eingeführt [2].

Was außerdem passiert: Andere Wissenschaftler*innen können Kommentare hinterlassen und zum Beispiel auf Schwachstellen der Arbeit hinweisen. Befürworter von Preprints weisen auch darauf hin, dass dadurch der Review-Prozess wesentlich demokratischer wird [3]: Denn die Begutachtung in Fachzeitschriften passiert in der Regel nur durch zwei bis drei andere Wissenschaftler*innen.

Wenn Preprints eine schlechte wissenschaftliche Qualität haben, ist das besonders dann problematisch, wenn aus der Studie weitreichende Schlussfolgerungen für Gesundheitsentscheidungen gezogen werden. In Corona-Zeiten blenden Preprint-Server wie bioRXiv oder medRXiv deshalb einen entsprechenden Warnhinweis ein: Preprints sind vorläufige Berichte und haben keinen Peer Review durchlaufen. Sie sind keine zuverlässige Basis für die medizinische Versorgung oder Gesundheitsentscheidungen, und Medien sollten darüber nicht so berichten, als handele es sich um gesicherte wissenschaftliche Erkenntnisse.

"Caution: Preprints are preliminary reports of work that have not been certified by peer review. They should not be relied on to guide clinical practice or health-related behavior and should not be reported in news media as established information.“

Sind dann begutachtete Studien automatisch zuverlässiger als Preprints? So einfach ist es leider auch nicht. Denn Peer Review hat zwar einige Stärken, aber auch deutliche Schwächen.

Was Peer Review kann

Von der Idee her soll Peer Review der Qualitätssicherung in der Wissenschaft dienen. Andere Wissenschaftler*innen schauen von außen auf das Manuskript und prüfen zum Beispiel:

• Lässt sich die Forschungsfrage überhaupt mit den wissenschaftlichen Methoden beantworten, die in der Studie verwendet wurden?
• Gab es offensichtliche Fehler in der Durchführung oder Widersprüche?
• Lassen sich die Ergebnisse tatsächlich so interpretieren, wie es die Autor*innen tun?
• Werden die Ergebnisse im Licht der bisherigen Forschung betrachtet und wie ordnen sie sich da ein?

Wenn dabei Fragen oder Unzulänglichkeiten sichtbar werden, fordern Gutachter*innen häufig eine Überarbeitung des Manuskripts, manchmal sogar weitere Experimente, um offene Fragen zu klären.

Peer Review ist kein Allheilmittel

Allerdings lassen sich im Peer Review auch nicht alle Fehler entdecken. So ist es beispielsweise nicht möglich, das die Gutachter*innen Experimente selbst durchführen und prüfen, ob sie zum gleichen Ergebnis kommen. Bisher ist es auch eher selten, dass die Rohdaten eingefordert werden, so dass sich Berechnungen überprüfen lassen. Völlig chancenlos ist der Peer Review, wenn Wissenschaftler*innen bewusst betrügen, also zum Beispiel sich Daten ausdenken, statt wirklich die Studie durchzuführen, oder unerwünschte Ergebnisse weglassen und dabei so gekonnt vorgehen, dass keine offensichtlichen Lücken oder Ungereimtheiten entstehen.

Leider zeigen die Erfahrungen, dass Peer Review auch nicht immer sorgfältig passiert [4] und dass Gutachter*innen bei der gleichen Studie zu sehr unterschiedlichen Ergebnissen kommen können. Ob Peer Review wissenschaftliche Artikel wirklich besser macht, gilt als nicht eindeutig belegt [5,6].

Werden Schwächen der Studie im Peer Review übersehen, kann es sein, dass das erst viel später auffällt – etwa wenn sich aufmerksame Leser*innen bei der Redaktionsleitung melden. Dann kann es im Extremfall passieren, dass Studien zurückgezogen werden [7]. Und davon bleiben auch hochrangige Journals nicht verschont. Bekannte Beispiele, in denen Peer Review wissenschaftlichen Betrug nicht verhindern konnten, war etwa die Publikation von Andrew Wakefield zum angeblichen Zusammenhang zwischen der Masern-Mumps-Röteln-Impfung, die in der medizinischen Fachzeitschrift Lancet veröffentlicht wurde [8], oder die Veröffentlichung von japanischen Forschern zur Erzeugung von menschlichen Stammzellen in der Zeitschrift Science [9].

Wissenschaft unter (Zeit-)Druck

Was allerdings sowohl Preprints als auch Publikationen mit Peer Review betrifft: In Zeiten der Corona-Pandemie steht die Forschung weltweit unter Zeitdruck. Denn es steht viel auf dem Spiel – sowohl in Gesundheitsfragen, als auch gesellschaftlich und ökonomisch. Wissenschaftler*innen sind also gehalten, möglichst schnell Antworten auf brennende Fragen zu finden und die Ergebnisse zu veröffentlichen [10]. Weil so viele Fragen offen sind, gibt es inzwischen unzählige Publikationen – auf Preprint-Servern, aber auch in Fachzeitschriften. Eine Auswertung (erschienen als Preprint) zählt für den Zeitraum zwischen Ende Dezember 2019 und Ende April 2020 mehr als 16.000 wissenschaftliche Publikationen mit Covid-19-Bezug, davon sind mehr als 6.000 als Preprints erschienen [11].

Fachleute beklagen deshalb die Gefahr, dass unabhängig vom Publikationsort in Corona-Zeiten wertlose Wissenschaft produziert wird – einfach, weil es schnell gehen muss und unter solchen Umständen leichter Fehler passieren [12, 13]. Untersuchungen zeigen auch, dass sich die Zeit für den Peer Review deutlich beschleunigt hat – aber Achtung: Diese Studie ist bisher nur als Preprint erschienen [14]. Kein Wunder, dass also inzwischen schon einige Untersuchungen zu Covid-19 und SARS-CoV-2 zurückgezogen wurden [15].

Exkurs – Wissenschaft per Pressemitteilung

Dass wissenschaftliche Erkenntnisse ungeprüft in die Öffentlichkeit gelangen, ist übrigens keine ganz neue Entwicklung. Gerade in der medizinischen Forschung ist es keine Seltenheit, dass auf Fachkongressen über neue Studien oder Entdeckungen gesprochen wird, bevor ein vollständiges Manuskript publiziert ist. Zu diesem Zeitpunkt sind also zum Beispiel die Methoden noch nicht in den Details überprüfbar und/oder nicht alle Ergebnisse verfügbar. Und manchmal wird das noch dadurch getoppt, dass zu diesen „Breaking News“ Pressemitteilungen veröffentlicht werden, über die die vermeintlichen „game changer“ (in der Medizin also zum Beispiel ein Medikament, das neue Standards setzt) dann an die breite Öffentlichkeit verkündet werden. Dieses Phänomen wird im englischen Sprachraum manchmal auch etwas spöttisch als „science by press release“ bezeichnet, also „Wissenschaft per Pressemitteilung“ [16].

Inzwischen ist auch ziemlich gut untersucht, dass es nur ein kleiner Teil der Konferenzbeiträge bis zu einer begutachteten Publikation schafft [17] und von den ursprünglichen Schlussfolgerungen nach dem Peer Review manchmal nicht mehr viel übrig bleibt [18]. Auch hat der Tenor von Pressemitteilungen oft nicht viel mit der eigentlichen Aussage der Studie zu tun [19].

Fazit

Peer Review und ein hochrangiges Journal bedeuten nicht automatisch, dass du dich auf eine Studie verlassen kannst. Umgekehrt gilt auch für Preprints: Sie sind nicht alle schlecht und wertlos, nur weil sie nicht begutachtet wurden. Wenn Peer Review gut gemacht ist, erhöht das die Wahrscheinlichkeit, mögliche Fehler und Unstimmigkeiten vor der Veröffentlichung zu entdecken. Eine Garantie ist es aber nicht. Deshalb bleibt – unabhängig vom Ort und der Art der Veröffentlichung, wie so häufig – nur die Möglichkeit, selbst kritisch auf die Studie zu schauen. Das kann in der Praxis aber ziemlich komplex und schwierig sein.

Zum Weiterlesen

Alle Websites wurden, wenn nicht anders angegeben, zuletzt am 10.06.2020 aufgerufen.

[1] Der medizinische Preprint-Server medRxiv wurde von der medizinischen Fachzeitschrift BMJ mitgegründet. Dieses Editorial beschreibt die Hintergründe.

[2] Der Artikel beschreibt, welche zusätzlichen Maßnahmen verschiedene Preprint-Server während der Corona-Pandemie eingeführt haben. Kwon D. How swamped preprint servers are blocking bad coronavirus research. Nature, veröffentlicht online 07.05.2020

[3] Der Artikel beschreibt die Geschichte des Peer Reviews, Probleme des derzeitigen Peer-Review-Prozesses und wie Modifikationen und digitale Tools einige der Probleme beheben könnten. Tennant JP, Dugan JM, Graziotin D et al. A multi-disciplinary perspective on emergent and future innovations in peer review [version 3; peer review: 2 approved]. F1000Research 2017, 6:1151 (https://doi.org/10.12688/f1000research.12037.3)

[4] Der Gastbeitrag des Psychologen und Meta-Researchers James Heathers im Guardian beschreibt, die Bedingungen, unter denen Peer Review üblicherweise stattfindet, und warum er deshalb so fehleranfällig ist. Veröffentlicht online 05.06.2020

[5] Der ehemalige Chefredakteur des BMJ beschreibt, dass die Hoffnungen zum Nutzen von Peer Review häufig nicht gerechtfertigt sind und der Prozess viele Probleme hat. Er schildert aber auch die Ansätze, die ausprobiert werden, um Peer Review zu verbessern. Smith R. Peer review: a flawed process at the heart of science and journals. J R Soc Med 2006; 99: 178–182

[6] Die Gesundheitswissenschaftlerin Hilda Bastian hat in ihrem Blog über einen langen Zeitraum Forschung über Peer Review zusammengetragen – eine etwas ernüchternde Bilanz. Teil 1, Teil 2, Teil 3

[7] Dass zurückgezogene Studien keine Seltenheit sind, zeigt die Website RetractionWatch, die solche Ereignisse kommentiert und in eine Datenbank aufnimmt.

[8] Die Geschichte zum Wakefield-Fall kannst du im BMJ nachlesen. Deer B. How the case against the MMR vaccine was fixed. BMJ 2011;342:c5347

[9] Cyranoski D. Papers on ‘stress-induced’ stem cells are retracted. Nature, veröffentlicht online 02.07.2014

[10] Dieser Artikel hat unter anderem ausgewertet, wie in den vergangenen Ebola- und Zika-Epidemien Preprints die Veröffentlichung von wissenschaftlichen Ergebnissen beschleunigt haben. Lagen Studien vor der regulären Journal-Veröffentlichung als Preprint vor (das war allerdings nur bei weniger als 5 % der ausgewerteten Publikationen der Fall), waren sie rund 100 Tage früher öffentlich zugänglich. Johansson MA, Reich NG, Meyers LA, Lipsitch M (2018) Preprints: An underutilized mechanism to accelerate outbreak science. PLoS Med 15(4): e1002549

[11] Fraser N et al. Preprinting a pandemic: the role of preprints in the COVID-19 pandemic. Veröffentlicht auf bioRxiv 23.05.2020

[12] Dieses Editorial im BMJ beklagt, dass in der Corona-Pandemie viele Studien methodisch schlecht angelegt sind und bei vielen Preprints die Qualität fehlt.

[13] Ähnlich warnt auch ein Kommentar in Science.

[14] Diese Untersuchung wertet die Zeiten von Einreichung bis Veröffentlichung in 14 medizinischen Journals aus. Danach hat sich die Zeit für den Peer Review von Inhalten mit Corona-Bezug dramatisch verkürzt. Horbach S. Pandemic Publishing: Medical journals drastically speed up their publication process for Covid-19. Veröffentlicht auf bioRxiv18.04.2020

[15] Die Website RetractionWatch führt in einer separaten Liste alle Studien zu Covid-19 auf, die zurückgezogen werden mussten.

[16] Das Phänomen „Science by press conference/press release“ hat es zu einer eigenen Wikipedia-Seite geschafft.

[17] Diese Analyse hat nachverfolgt, welcher Anteil von Konferenzbeiträgen später tatsächlich in eine begutachtete Publikation mündet. Scherer R u.a. Full publication of results initially presented in abstracts. Cochrane Database Syst Rev 2018, MR000005

[18] Die Schlussfolgerungen der Konferenz-Abstracts und der publizierten Studien stimmen oft nicht überein. Li G u.a. A scoping review of comparisons between abstracts and full reports in primary biomedical research. BMC Med Res Methodol 2017;17(1):181

[19] Dass die Ergebnisse von Studien oft nicht viel mit dem zu tun haben, was in den zugehörigen Pressemitteilungen steht, und dass sich das auch auf die Berichterstattung in den Medien auswirkt, haben beispielsweise diese beiden Publikationen untersucht. Yavchitz A, Boutron I, Bafeta A, Marroun I, Charles P, Mantz J, et al. (2012) Misrepresentation of randomized controlled trials in press releases and news coverage: A cohort study. PLoS Med 9(9): e1001308 und Sumner P et al. The association between exaggeration in health related science news and academic press releases: retrospective observational study. BMJ 2014;349:g7015