Ich möchte mit diesem Beitrag eine kleine Reihe starten, die ich „Gute Studien, schlechte Studien“ nenne. Und in diesem ersten Teil geht es um eine Veröffentlichung, die eher auf der schlechten Seite zu finden ist. Es geht um eine Studie, in der die Autor:innen die Wirksamkeit von Homöopathie nachwiesen wollten. Und auch wenn die Autor:innen des Papers der Meinung sind, dass sie das auch geschafft haben, bin ich da anderer Meinung, und ich möchte euch gerne erzählen wieso.

Um was es in dem Paper geht

Das Paper trägt den Titel „Effects of homeopathic arsenicum album, nosode, and gibberellic acid preparations on the growth rate of arsenic-impaired duckweed (Lemna gibba L.)”. Und ich kann ja schon mal spoilern, dass laut den Autor:innen zumindest das Arsenicum album einen Effekt haben soll. Die Studie erschien schon 2010 und wurde auch schon mehrfach kritisch behandelt, wird aber trotzdem immer wieder wie die sprichwörtliche Sau durchs sprichwörtliche Dorf getrieben. Erst vor ein paar Monaten ist sie mir wieder auf Twitter als angeblicher Beweis für die Wirkung von Homöopathika begegnet. Deshalb möchte ich mich dieser Studie hier widmen und einen genaueren Blick auf diesen „Beweis“ werfen.

Wieso, weshalb, warum, Wasserlinsen

Jetzt ist es Zeit, dass wir den ersten Elefanten im Raum ansprechen: das von den Autor:innen gewählte Modellsystem. Sie wollen die Wirksamkeit ihrer homöopathischen Zubereitungen anhand der Wasserlinse Lemna gibba nachweisen.

Die Wahl des richtigen Modellorganismus für solche Dinge ist gar nicht so einfach (und ich habe auch nur begrenzt Ahnung von den Feinheiten). Aber das grundlegende Prinzip ist relativ einfach: je weiter der gewählte Organismus biologisch vom Menschen entfernt ist, desto weniger sind die Ergebnisse übertragbar. Mäuse und Ratten zum Beispiel sind Menschen erstaunlich ähnlich. Noch besser sind allerdings Primaten.

Die Wasserlinse Lemna gibba (Von Christian Fischer, CC BY-SA 3.0)

Andere Organismen, die häufig verwendet werden, sind weiter vom Menschen entfernt. Fruchtfliegen wie Drosophila melanogaster oder Fadenwürmer wie Caenorhabditis elegans sind aber immerhin noch Tiere, und gehören damit zumindest noch zum gleichen taxonomischen Reich wie der Mensch.

Aber so oder so können Ergebnisse aus Tierstudien nicht einfach so auf Menschen übertragen werden. Ansonsten könnte man sich die ganzen aufwändigen Zulassungsstudien für Arzneimittel ja sparen und sagen: „Bei den Mäusen hat es doch funktioniert, wieso sollten wir uns mit klinischen Studien rumschlagen?“

Jetzt sind Wasserlinsen aber keine Tiere. Es sind Pflanzen. Und Pflanzen unterscheiden sich eben auf jeder Ebene, mikro- und makroskopisch von Tieren, wodurch Erkenntnisse, die auf Wasserlinsen beruhen, noch schlechter auf Menschen übertragbar sind.

Ich habe auch mal nachgeschaut, ob ich andere Veröffentlichungen finde, in denen Arzneimittel-Forschung an Wasserlinsen stattfand. Aber anscheinend wurde das Wasserlinsen-System von den Autor:innen dieser Studie etabliert (ich habe jetzt allerdings auch nicht ewig gesucht). Was es aber gibt, ist die (seltene) Verwendung von Wasserlinsen in der Ökotoxikologie. Dort wird die Wirkung von Giftstoffen in der Umwelt auf Pflanzen (!) getestet.

Eine Sache muss ich den Autor:innen aber zu Gute halten. Auch wenn sie an Wasserlinsen nicht die Wirksamkeit von Homöopathie bei Menschen zeigen können, könnten sie theoretisch nachweisen, dass Homöopathika überhaupt irgendeine Wirkung haben. Um zu erkennen, weshalb dieses Paper auch das nicht beweist, müssen wir uns die Daten ein wenig genauer anschauen.

Signifikanz und schlimme Diagramme

Eigentlich hat das Paper gar nicht so viel Inhalt. Im Prinzip haben die Autor:innen Wasserlinsen mit Arsen behandelt. Arsen ist giftig für Wasserlinsen (und für Menschen!), weshalb diese weniger schnell wachsen. Danach wurden die Wasserlinsen mit homöopathischen Zubereitungen behandelt, und es wurde beobachtet, ob und wie sich die Wachstumsrate erholt. Verglichen wurde das mit Wasserlinsen, die zuerst mit Arsen und dann nur mit Wasser behandelt wurden. Außerdem haben die Autor:innen ein paar Experimente durchgeführt, um zu zeigen, dass ihr „Wasserlinsen-wachsen-langsamer-durch-Arsen-System“ konsistente Ergebnisse liefert.

Schauen wir uns mal an, was die Ergebnisse bei den Wasserlinsen sind, die mit Arsenicum album (also nur sehr verdünntes Arsen(III)-oxid) behandelt wurden. Es wurden neun verschiedene Potenzen getestet, die Ergebnisse wurden hier allerdings zusammengefasst. Das ganze wurde dann fünf mal wiederholt, wir haben also fünf biologische Replikate, im Paper und auch nachfolgend als Experiment 1-5 bezeichnet. Jedes Experiment liefert einen Wert für die Wachstumsrate der Wasserlinsen, der mit je einem Kontrollexperiment verglichen wurde.

Auf den ersten Blick sieht es jetzt so aus, als wären die Wasserlinsen, die mit Arsenicum album behandelt wurden, tatsächlich schneller gewachsen. Wenn wir genauer hinschauen, bemerken wir aber erst einmal, wie klein der Unterschied der Wachstumsrate ist. Die Wachstumsraten von Experiment 1 und Kontrolle 1 unterscheiden sich nur um ca. 0,005 d-1. Das sind 1,2 % der Wachstumsrate. Und dann fällt auf, wie sehr die Wachstumsrate zwischen den Experimenten schwankt. Der Unterschied zwischen Experiment 1 und 2 beträgt ca. 0,011 d-1 und ist damit mehr als doppelt so groß wie der Unterschied zwischen Experiment 1 und der Kontrolle. Und wenn sich zwei Ergebnisse mit Behandlung mehr unterscheiden als die Ergebnisse von Behandlung und Kontrolle, dann kann man nicht wirklich von einem Effekt der Behandlung sprechen.

Das ganze Diagramm ist etwas irreführend. Was man hier hätte machen sollen, wäre die Ergebnisse der biologischen Replikate zu mitteln und mit den gemittelten Ergebnissen der Kontrollexperimente zu vergleichen. Und was wir dann sehen, sind zwei Dinge: Erstens ist der Unterschied in den Wachstumsraten zwischen Behandlung und Kontrolle extrem klein (ebenfalls etwa 1,2 % der gesamten Wachstumsrate). Und zweitens liegt der Unterschied innerhalb der Standardabweichung der biologischen Replikate! Damit ist es eigentlich unmöglich auszuschließen, dass der Unterschied zwischen Behandlung und Kontrolle nur Zufall ist.

In diesem Diagramm werden der Mittelwert der Kontrollen und der Experimente miteinander verglichen. Wenn die Y-Achse bei 0 beginnt, sieht man, wie klein der Unterschied zwischen Kontrolle und Behandlung eigentlich ist.
Wenn wir näher heranzoomen (Y-Achse beginnt bei 0,4 d-1), dann sehen wir, dass der Unterschied in der Wachstumsrate innerhalb der Standardabweichung der biologischen Replikate liegt.

Wieso schreiben die Autor:innen in dem Paper dann aber von signifikanten Unterschieden? Ich denke, das liegt an einer schlauen Auswahl, welches Experiment mit welcher Kontrolle verglichen wurde. Es gibt keinen zwingenden Grund, Experiment 1 aus dem Diagramm mit Kontrolle 1 zu vergleichen, und nicht mit Kontrolle 5. Schließlich wurden beide Kontrollexperimente genau gleich durchgeführt. Und wenn wir Experiment 1 mit Kontrolle 5 vergleichen, dann ist auf einmal die Wachstumsrate der Kontrolle größer als die des Experiments. Aber natürlich wurde das nicht so gemacht, denn das würde ja bedeuten, dass die Behandlung keinen (oder eher einen negativen) Effekt hatte. Aber weil eben genau die Kontrollexperimente als Vergleich herangezogen wurden, die eine niedrigere Wachstumsrate hatten, entsteht der Eindruck, als habe die Behandlung einen signifikanten Effekt.

Wo wir gerade schon dabei sind: Weshalb vergleichen wir nicht die Wachstumsrate der mit Arsenicum album behandelten Wasserlinsen mit den Kontrollexperimenten aus dem Diagramm zu Gibberelinsäure? Schließlich sind auch hier die Kontrollexperimente genau die gleichen: es wurde einfach Wasser statt einer homöopathischen Zubereitung verwendet. Wenn wir das tun, und die Experimente und Kontrollen entsprechend zuordnen, ist die Wachstumsrate der behandelten Wasserlinsen in allen fünf Fällen gleich oder sogar kleiner!

Die Daten zu den anderen Homöopathika müssen wir uns im Prinzip gar nicht anschauen, denn die Autor:innen schreiben selbst, dass es hier keinen Effekt gibt. Gibberillinsäure scheidet direkt aus, und die Nosode auch, sobald die Potenzen nicht mehr gepoolt sondern einzeln betrachtet werden.

Was lässt sich also zusammenfassend sagen? Artikel mit Überschriften wie „Eine Schweizer Studie beweist: Homöopathie wirkt“ vom Homöopathieverband Schweiz sind auf jeden Fall übertrieben. Stattdessen erweckt eine geschickte Anordnung der Daten den Eindruck, es würde einen beobachtbaren Effekt geben, der nicht existiert. Und es ist beunruhigend, dass diese Studie dort draußen ist, wo sie von Laien gefunden werden kann, die daraus dann die falschen Schlüsse ziehen. Oder noch schlimmer von Journalist:innen (oder Homöopathie-Lobbyist:innen), die dann Artikel über die angebliche Wirksamkeit von Homöopathie schreiben, die von noch mehr Menschen gefunden werden.