Strittige Studien: Wie Nonsens-Forschung der Wissenschaft schadet
:format(webp)/cloudfront-eu-central-1.images.arcpublishing.com/madsack/FJUHFORQDWRKCVFMIPTE7E64NM.jpg)
Ist Kaffee nun krebserregend – oder das genaue Gegenteil? Beinahe monatlich erscheinen widersprüchliche Studien, die zu Schlagzeilen werden. Für die Glaubwürdigkeit der Wissenschaft ist das eine Katastrophe.
© Quelle: iStock
Hannover. Quizfrage: Sie wollen Ihre Partnerin verführen – was tun Sie? Richtig! Sie sättigen sie. Denn Liebe geht laut einer Studie der Drexel University nicht nur sprichwörtlich durch den Magen. Frauen seien für Romantik eher empfänglich, wenn ihr Magen gefüllt ist.
Wie? Sie finden dieses Ergebnis nichtssagend? Gut so. Denn erstens: Jeder ist in gesättigtem Zustand empfänglicher als im hungrigen – für alles. Zweitens: Die Studie basiert auf einer Erhebung mit gerade einmal 20 Teilnehmerinnen.
Damit sagt die Studie tatsächlich vor allem eines, nämlich nichts. Die Fallzahl ist viel zu klein, um repräsentativ zu sein, und berücksichtigt keine zusätzlichen Einflussfaktoren. Trotzdem schaffte sie es, zur medialen Schlagzeile zu werden.
Studienergebnisse, die eher Thesen als Fakten sind
Ein Umstand, der zwei Missstände offenbart: Erstens, dass wissenschaftliche Zeitschriften Ergebnisse veröffentlichen, die nicht belastbar sind. Zweitens, dass Medien über diese Nichtergebnisse oft trotzdem berichten.
Zumal die Lust-dank-Magen-voll-Studie keine Ausnahme ist. Das zeigt allein das Beispiel Kaffee: In den vergangenen Monaten machten Studien Schlagzeilen, die behaupten, dass Kaffeetrinker länger leben und seltener an Parkinson, Alzheimer, Leberzirrhose und Brustkrebs leiden. Bei Männern kräftige Kaffee die Spermien, bei einigen Frauen hingegen lasse er den Busen schrumpfen. Senioren mache Kaffee sportlich, Arbeitnehmer zu besseren Kollegen.
Bei Studien über satte Lust oder geschrumpfte Kaffeebusen mögen Studienergebnisse, die eher Thesen als Fakten sind, noch amüsant sein – problematisch sind sie dann, wenn aus ihnen ernsthafte Empfehlungen abgeleitet werden.
:format(webp)/cloudfront-eu-central-1.images.arcpublishing.com/madsack/EU4CAEDGBNXZFDGMLCA3PVF6PA.jpg)
Auswirkungen von Lebensmitteln auf die Gesundheit
© Quelle: RND
Was das bedeutet, zeigt der Gesundheitswissenschaftler John Ioannidis von der Stanford University. Er verglich zusammen mit einem Kollegen die Ergebnisse Dutzender wissenschaftlicher Lebensmittelstudien – mit dem Ergebnis, dass wissenschaftlichen Studien zufolge fast alles, was wir zu uns nehmen, die Wahrscheinlichkeit, an Krebs zu erkranken, gleichzeitig sowohl erhöht als auch senkt (siehe Grafik unten). Die einen Studien warnen also vor denselben Lebensmitteln, zu denen die anderen raten.
Möglich ist dieses Ergebniswirrwarr auch deshalb, weil Forscher Methoden und Fälle häufig so wählen können, dass sich ihre Wunschergebnisse künstlich erzeugen lassen. Ebenso beliebt: Forscher suchen nicht gezielt nach Zusammenhängen, sondern lassen ein Programm nach statistisch signifikanten Zusammenhängen suchen, bis dieses einen findet.
Anschließend müssen die Forscher dann nur noch eine Studie über diesen Zusammenhang schreiben. Auch, wenn das Ergebnis Nonsens ist. P-Hacking heißt dieses Verfahren. Wer sich des p-Hackings bedient, findet auch Zusammenhänge zwischen dem Verzehr von Chips und hoher Mathematikkompetenz, Tomatenkonsum und Judentum sowie dem Genuss von Eierpfannkuchen und dem Besitz eines Hundes.
Wissenschaftler dafür sensibilisieren, wie leicht Daten sich manipulieren lassen
Wer das nicht glaubt, kann es selbst ausprobieren: Felix Schönbrodt hat eine Internet-App entwickelt, mit der Forscher ihre eigenen Daten problemlos p-hacken können. Das Programm soll Wissenschaftler dafür sensibilisieren, wie leicht Daten sich manipulieren lassen. Denn saubere Forschung ist Schönbrodts Auftrag.
Der Wissenschaftler arbeitet in einem Gebiet, das 2015 in eine schwerwiegende Glaubwürdigkeitskrise strudelte: der Psychologie. Damals versuchte das „Reproducibility Project: Psychology“, die Ergebnisse von 100 psychologischen Studien zu replizieren. Und nur in weniger als der Hälfte der Studien war das auch möglich. Anders ausgedrückt: Bei mehr als der Hälfte der Studien konnte das ursprüngliche Ergebnis kein zweites Mal erzielt werden.
Statt jedoch stur weiterzumachen wie zuvor, drehte die Psychologie ihre Mängel ab 2015 durch die Mangel: Viele Unis gründeten Arbeitskreise, um ihre Methoden zu überdenken. Gleichzeitig erstarkte die Open-Science-Bewegung, in der Felix Schönbrodt sich maßgeblich engagiert. Die Open-Science-Bewegung fordert die kostenfreie Veröffentlichung sämtlicher Daten, Methoden und Ergebnisse einer Studie. Dadurch könnten Forscher und Medien Studien endlich daraufhin prüfen, ob diese verlässlich sind oder nicht. Und sie, falls notwendig, wiederholen.
Die Anreize, Studien künstlich aufzuhübschen, sind zahlreich
Problem nämlich ist, dass die Anreize, Studien künstlich aufzuhübschen, zahlreich sind. „Wer in der Wissenschaft erfolgreich sein will, muss viele Artikel veröffentlichen“, sagt Schönbrodt. „Das geht dann besonders gut, wenn die eigenen Ergebnisse entweder aktuelle Trends belegen oder besonders überraschend sind.“
Wen interessieren schon Resultate, die beispielsweise belegen: Kaviar ist ein Lebensmittel, das weder krank noch gesund macht? Eben: niemanden. Stattdessen reicht sich nichts besser zum Kaviarhäppchen als eine besorgniserregende Studie dazu. Wissenschaftliche Zeitschriften, die wissenschaftliche Studien veröffentlichen, wissen das. Medien wissen das erst recht und lieben es, Nachrichten wie diese ausschweifend zu berichten.
Wenn aber einsehbar ist, dass es sich bei einer Quatschstudie um eine Quatschstudie handelt, könnte das den entscheidenden Unterschied machen. Es braucht eine genaue Trennung von verlässlicher und unzureichender Forschung. Die Kritik an der Wissenschaft ist so schon groß genug. Sich ständig widersprechende und falsche Wissenschaftsmeldungen schaden dem Vertrauen nur noch weiter.
Basiert Forschung auf falschen Annahmen, ist das fatal
Wissenschaftler müssen wissen, ob sie sich auf Forschungsergebnisse verlassen können, um sich auf diese beziehen und auf sie aufbauen zu können. Denn basiert Forschung auf falschen Annahmen, ist das fatal.
Damit Studien dank Open Science in Zukunft also besser überprüfbar sind, tourte Felix Schönbrodt durch deutsche Universitäten und zeigte Möglichkeiten und Vorgehensweisen der Open Science auf. Er veranstaltet Workshops und gründete mit Kollegen an seiner Universität, der Ludwig-Maximilians-Universität München, ein Open Science Center, das freie, transparente und glaubwürdige Forschung bewirbt.
Zeitgleich bauen sie mehrere Plattformen aus, auf denen Forscher ihre Datensätze und Dokumentationen ablegen können. Es tut sich also was in der Debatte. Etwas bedeutend Gutes.
Von Julius Heinrichs