Corona-Impfung: Warum können Studien zur Wirksamkeit verzerrt sein?

Als die Corona-Impfstoffe neu waren, war die Datenlage noch sehr übersichtlich: Für jeden Impfstoff gab es eine einzige große Zulassungsstudie, die die wichtigste Frage einigermaßen zuverlässig beantworten konnte: Wie gut schützt die Impfung zumindest kurzfristig vor Covid-19?

Allerdings blieben damals einige Aspekte offen, zum Beispiel: Wie gut sind bestimmte Risikogruppen geschützt, die an den Zulassungsstudien nicht beteiligt waren? Wie lange hält der Impfschutz an? Sind einige Impfstoffe besser als andere? Und wie hoch ist die Wirksamkeit gegen Virusvarianten wie Omikron?

Im Idealfall würden solche und ähnliche Fragen ganz ordentlich mit gut gemachten klinischen Studien untersucht. Das ist aber aufwändig. Geht das nicht einfacher? Und lassen sich nicht irgendwie die Daten der vielen Menschen nutzen, die sich seit Beginn der Impfkampagnen gegen Corona haben impfen lassen? Das ist die Idee hinter Beobachtungsstudien zur Wirksamkeit der Impfung.

Beobachtungsstudien sind oft anfällig für Verzerrungen

In Beobachtungsstudien werden Geimpfte und Ungeimpfte verglichen. Manche solcher Studien werben geimpfte beziehungweise ungeimpfte Teilnehmende explizit an, bei anderen analysieren Forschungsteams Daten aus bestehenden Quellen, etwa Registern von Impfungen, Corona-Tests und Krankenhauseinweisungen.

Allerdings gibt es ein Problem: Bei solchen Beobachtungsstudien gibt es viele Möglichkeiten, wie die Ergebnisse verzerrt sein können. Die klinischen Studien zur Zulassung haben viele dieser Fehlerquellen bedacht und sie durch gezielte Maßnahmen so gut wie möglich ausgeschaltet (siehe Infobox).

Bei Impfentscheidungen und Impfungen im „echten Leben“ geht es aber viel chaotischer zu als bei den kontrollierten Zulassungsstudien. Und nicht immer entsprechen die Studien den Best-Practice-Empfehlungen der Weltgesundheitsorganisation WHO.

Wenn in Social Media dann Meldungen kursieren wie „Die Impfung wirkt nur noch zu 10 Prozent gegen Omikron“, ist es deshalb wichtig, die entsprechende Studie genauer anzuschauen. Dabei können drei Fragen helfen.

Frage 1: Wie ähnlich sind Geimpfte und Ungeimpfte?

Bei den Zulassungsstudien sorgte die zufällige Zuteilung der Impfung dafür, dass es außer dem Impfstatus keine wesentlichen Unterschiede zwischen Geimpften und Ungeimpften gab. Bei vielen Beobachtungsstudien ist das schwieriger. Zum Beispiel dann, wenn beide Gruppen nicht den gleichen Zugang zu Impfungen hatten oder kein vergleichbares Risiko für eine Infektion oder einen schweren Verlauf. Und ganz kompliziert wird es, wenn beide Faktoren zusammenkommen. Fachleute sprechen dann von Confounding.

Ein Beispiel: Zu Beginn der Impfkampagne waren die Impfstoffe limitiert. Geimpft wurden zuerst Ältere oder Menschen, die durch Vorerkrankungen besonders gefährdet waren. Würde man diese Geimpften mit dem durchschnittlichen, also jüngeren und gesünderen Ungeimpften vergleichen, würde das den Schutz der Impfung vor schweren Verläufen wahrscheinlich unterschätzen. Denn diejenigen, die sich impfen lassen konnten, hatten gleichzeitig ein größeres Risiko für einen schweren Verlauf bei einer Corona-Infektion.

Zweites Beispiel: Menschen mit niedrigerem Bildungsstatus haben vielleicht nicht so gut Zugang zu verlässlichen Informationen zur Corona-Impfung und lassen sich deshalb möglicherweise nicht impfen. Ein grober Vergleich von (wohlhabenden) Geimpften und (sozial benachteiligten) Ungeimpften könnte die Wirksamkeit der Impfung überschätzen. Denn diese Menschen haben gleichzeitig vermutlich eher ein niedrigeres Einkommen, können seltener im Homeoffice arbeiten, leben in engeren Wohnverhältnisse und können weniger Geld für Masken aufbringen. Kurz gesagt: Sie können sich vermutlich nicht so leicht schützen wie gutsituierte Bildungsbürger:innen und stecken sich leichter mit dem Coronavirus an.

Besonders schwierig wird es, wenn die Auswertung Daten über einen längeren Zeitraum vergleicht und sich die Faktoren zwischenzeitlich verändern. Etwa wenn der Zugang zur Impfung gelockert wird, Daten aus verschiedenen Phasen der Pandemie verglichen werden oder der Impfschutz im Laufe der Zeit abnimmt. Dann müssen die Forschenden viel Sorgfalt aufwenden, um zu unterscheiden, wer zu welchem Zeitpunkt noch nicht, schon oder nicht mehr geschützt ist oder sich anstecken kann.

Beobachtungsstudien sollten also so gut wie möglich versuchen, grundsätzliche Unterschiede zwischen Geimpften und Ungeimpften in der Auswertung zu berücksichtigen. Eine US-amerikanische Studie zur Wirksamkeit der Impfung gegen Omikron bei Kindern und Jugendlichen zum Beispiel hat neben dem Alter auch den Zeitpunkt der Datenerfassung, andere Gesundheitsprobleme, den sozioökonomischen Status und die Zeit seit der zweiten Impfung in die Analyse einfließen lassen.

Schwieriger wird es zum Beispiel oft sein herauszufinden, wie gut sich die Betroffenen mit Masken oder Social Distancing geschützt haben. Das schränkt die Aussagekraft der Studien ein, weil eventuelle Unterschiede zwischen den Gruppen nicht systematisch bei der Auswertung berücksichtigt werden können.

Neben grundsätzlichen Unterschieden können weitere Fehlerquellen auch darin liegen, wie die Forschungsteams den Immunstatus und die Studienergebnisse für die Teilnehmenden erfassen. Das gilt ganz besonders dann, wenn die Umstände dazu führen, dass sich die Erfassung unbeabsichtigt zwischen Geimpften und Ungeimpften unterscheidet.

Frage 2: Wie verlässlich sind die Daten zum Immunstatus?

Geimpft oder nicht geimpft? Wenn sich die Studien auf die Auskunft der Teilnehmenden verlassen, ist das möglicherweise fehleranfällig. Besser ist es, wenn offizielle Dokumente vorliegen, aus denen zweifelsfrei Datum und Art der Impfungen hervorgehen oder entsprechende Daten aus Impfregistern.

Allerdings ist es auch wichtig, dass die Studien noch ein bisschen genauer hinschauen: In den ersten Tagen nach der Impfung ist der Impfschutz in der Regel noch nicht voll aufgebaut. Gut gemachte Beobachtungsstudien berücksichtigen das und klassifizieren zum Beispiel nur diejenigen als geimpft, bei denen ein gewisser Zeitraum nach der zweiten Impfung vergangen ist. Wenn Studien das nicht berücksichtigen, kann die Impfung irrtümlich weniger wirksam erscheinen.

Neben einer Impfung kann auch eine durchgemachte Covid-19-Erkrankung für eine gewisse Zeit vor einer erneuten Corona-Infektion schützen. Deshalb sollten Studien auch erfassen, wer bereits als genesen gilt. Wenn in der Kontrollgruppe deutlich mehr Genesene sind als in der Impfgruppe, kann das zum Beispiel den Schutz der Impfung vor schweren Verläufen schwächer erscheinen lassen, als wenn die Ungeimpften noch nie Kontakt zum Coronavirus hatten.

Frage 3: Wie verlässlich sind die Daten zu den Ergebnissen?

Studien zum Nutzen der Corona-Impfstoffe testen oft unterschiedliche Aspekte: Wie gut schützt die Impfung vor einer Covid-19-Erkrankung mit Symptomen? Wie gut vor schwereren Verläufen, die zum Beispiel eine Behandlung im Krankenhaus erfordern? Allerdings lohnt ein Blick auf die Details, wie die Studien sicherstellen, dass das Ergebnis tatsächlich fair und verlässlich bei Geimpften und Ungeimpften erhoben wird.

Manche Studien akzeptieren als Nachweis einer Infektion auch Schnelltests, andere dagegen nur die Ergebnisse von PCR-Tests. Je nach Infektionsgeschehen oder Vorliegen von Symptomen kann die Zuverlässigkeit der Schnelltest-Ergebnisse deutlich variieren.

Wenn sich Studien auf vorliegende Daten zu Tests stützen, ist es wichtig, dass auch das Datum des Symptombeginns erfasst wird. Denn ein zu großer Abstand zwischen Symptombeginn und Testdatum kann zu falsch-negativen Ergebnissen führen, eine Covid-Erkrankung wird also möglicherweise nicht erfasst.

Problematisch ist es auch, wenn Geimpfte und Ungeimpfte möglicherweise unterschiedlich gut Zugang zu Tests haben oder unterschiedlich häufig getestet werden. Dafür kann es unterschiedliche Gründe geben, etwa wenn Testen mit Kosten verbunden ist, wie es oft in den USA der Fall ist. Oder wenn in den verglichenen Gruppen bei den Geimpften mehr Menschen vertreten sind, die häufiger getestet werden (etwa Krankenhauspersonal) als in der Gruppe der Ungeimpften (zum Beispiel aus der Allgemeinbevölkerung).

So wurde auf Twitter Ende Februar 2022 eine Preprint-Studie aus New York kontrovers diskutiert, die den Nutzen der Omikron-Impfung bei Kindern und Jugendlichen untersuchte. Das Forschungsteam hatte dazu Daten aus Registern zu Testergebnisse und Impfungen analysiert. Allerdings waren im Register nur Informationen zum Testdatum enthalten. Es fehlten aber Hinweise, ob und seit wann die Getesteten Symptome haben oder ob sie zum Beispiel gar keine verdächtigen Beschwerden hatten, aber sich als Kontaktpersonen haben testen lassen. Wenn es in dieser Hinsicht größere Unterschiede zwischen Geimpften und Ungeimpften gab, kann das den berechneten Schutz vor Infektionen deutlich verzerrt haben. Eine weitere US-amerikanische Untersuchung zur gleichen Frage hatte dagegen Geimpfte und Ungeimpfte extra für die Studie rekrutiert und konnte so dafür sorgen, dass beide Gruppen regelmäßig und nach den gleichen Kriterien getestet wurden.

Das Problem vom unterschiedlichen Zugang zu Testungen versuchen Studien mit test-negativem Design zu umgehen (siehe Infobox). Allerdings können auch in solchen Untersuchungen die Ergebnisse durch andere Faktoren verzerrt sein.

Fazit: Beobachtungsstudien sind oft schwer zu interpretieren

Wenn die Wirksamkeit der Corona-Impfung in Beobachtungsstudien untersucht wird, ist es oft nicht einfach, die Verlässlichkeit der Ergebnisse richtig einzuschätzen. Kompliziert wird es auch dadurch, dass die Untersuchungen in einigen Aspekten mehr, in anderen dagegen weniger aussagekräftig sind. Oft lässt es sich auch nicht abschätzen, ob die Studie den Nutzen der Impfung eher überschätzt oder unterschätzt.

Das alles spricht dafür, die Ergebnisse aus Beobachtungsstudien zur Wirksamkeit der Corona-Impfung mit Vorsicht zu betrachten. Sie wegen der teilweise hohen Unsicherheit aber ganz zu ignorieren, ist aber vermutlich auch nicht richtig: Denn zu vielen Fragen haben wir oft einfach keine besseren Daten.