Die Wiederholung des Wissenschaftsbetrugs

Über pseudowissenschaftliche Denk- und Wissenschaftsfehler.

Ich möchte es mal mit einer Anekdote beginnen. Ich kannte mal einen Wissenschaftler aus der Ex-DDR, der nach der Wende in den Westen rübergemacht hatte. Der erzählte mir mal eine Schote von der NVA, nicht nur des Lachers wegen, sondern unter Informatikern als das Prinzip, einen Fehler zu wiederholen, ohne darüber nachgedacht zu haben. Informatiker lieben es ja, solche Fehlermuster zu erkennen. Er hatte das bei der NVA miterlebt, dass einer Einheit, die für FlARak (Flugabwehrraketen) zuständig war, in einer Übung versehentlich so ein Ding losging. Damit das Ding keinen Schaden anrichtet, gab man natürlich sofort das Funksignal mit dem Code zur Selbstzerstörung, und das Ding explodierte dann wie es sollte in der Luft. Gab natürlich einen Riesen-Ärger, nicht nur wegen der teuren Rakete, sondern auch, weil man wusste, dass die Amis alles mit Satelliten überwachten und nunmehr einen gültigen Selbstzerstörungscode aufgefangen haben mussten. Also ging der sofortige Befehl, alle Raketen auseinanderzuschrauben, und irgendwo ganz tief drinnen den Code zu ändern. War ein elender Haufen Arbeit, hat lange gedauert. Dann kamen sie auf die Idee, zu untersuchen, was eigentlich schief gegangen war und holten sich die Leute, denen das Ding losgegangen war, heran und forderten sie auf, das nochmal genau so wiederholen, alles exakt nochmal so zu machen, wie an jenem Tag, um es untersuchen zu können. Sie taten es, uns es ging wieder so ein Ding los. Wieder eine Rakete kaputt, wieder alle aufschrauben und den Code ändern.

Man könnte ja nun erwarten, dass es bei westlichen Regierungen irgendwann mal ankommt, dass die Universitäten voller Schwindler sind und Forschungsanträge mittlerweile in ihrer Seriosität mit dem Enkeltrick auf einer Stufe stehen: Man gibt sich als was aus, was man nicht ist (Wissenschaftler) und holt dann einen Haufen Geld ab.

Der Deutschlandfunk berichtet, dass man in den Niederlanden nun ein gewisses Misstrauen entgegenbringt und ein Förderprogramm aufgesetzt hat, um Studien zu wiederholen.

Nun überlege ich gerade, ob man das für schlau halten soll, wenn die jetzt anfangen, Studien vorsichtshalber nachzuprüfen, oder ob es dumm ist, etwas zu wiederholen, obwohl man ihm nicht traut.

Es ist eine hochinteressante Frage, welche Art von Fehlern man durch Wiederholung aufdeckt und welche man eben einfach wiederholt. Ist es richtig, ein Experiment nachzustellen, oder ist es falsch, Universitätsforscher damit zu beauftragen, wenn man doch gerade denen nicht traut? Ein „Prüf das mal nach” ist sicherlich kein schlechter Ansatz. Aber dann, wenn einen einer betrogen hat, zu einem Zweiten zu sagen, ach, betrüg Du mich auch mal, weil doppelt hält besser, ist keine so tolle Idee.

Paulette Flore ist richtig gut in Mathe. Sie hat immerhin einen Doktor in Statistik. Frauen sind mathematisch unbegabt? Auf sie trifft das nicht zu. Trotzdem kann sie sich vorstellen, dass Frauen von solchen Zuschreibungen ausgebremst werden.

„Das klingt für mich plausibel: Das Vorurteil wach zu rufen, kann Frauen einschüchtern, sodass sie allein deshalb in einem Test schlecht abschneiden.“

Das Phänomen ist in der Psychologie als „Bedrohung durch Geschlechter-Stereotype“ bekannt. Paulette Flore wollte in ihrer Doktorarbeit Details des Effektes untersuchen – nur konnte sie ihn in den Daten ihrer mit 2000 Schülern groß angelegten Studie nicht finden. Und das, obwohl das Phänomen in so gut wie jedem Psychologielehrbuch steht.

„In that sense I guess it was a little surprising.“

Das ist doch mal ein Ding. Die Benachteiligung durch Geschlechter-Stereotype, die so seit 10 oder 20 Jahren unsere Politik und unser Hochschulwesen bestimmt, gibt es gar nicht.

Ich sage das ja schon die ganze Zeit, das das frei erfundener Blödsinn ist, und dass es systematisch ist, weil die Geisteswissenschaftler jede beliebige Behauptung für wahr halten, solange das Publikum es nicht widerlegt, und das Publikum verprügeln, wenn es das tut. Sie nennen es Wissenschaft. Aber es ist einfach nur willkürliches Geschwätz.

Überraschend, aber leider kein Einzelfall. Eine großangelegte Studie hat hundert viel beachtete Studien aus der Psychologie wiederholt. Bestätigen konnten die Autoren nur etwa jede Dritte.

Eine Studie hat ergeben, dass Studien nicht stimmen. (Hört sich an wie alle Kreter lügen, sagte der Kreter. Was so ein typisches Geisteswissenschaftler-Rätsel ist, was die nur toll finden, weil sie wieder mal gar nichts verstanden haben.)

Ähnliche Versuche aus Biomedizin und Krebsforschung stellen ein nicht weniger schlechtes Zeugnis für die Glaubwürdigkeit der Wissenschaft aus. Berichte, die Forscher aller Fachrichtungen zu Recht alarmieren, meint Jelte Wicherts, Professor für Methodenlehre im niederländischen Tilburg und Paulette Flores Doktorvater.

„Die Wissenschaft als Ganzes ist dafür verantwortlich, das Richtige zu tun. Nur sind die Anreize, die das System bietet, nicht gerade dafür geschaffen. Die Fachjournale wollen schöne, aufregende Ergebnisse veröffentlichen. Die Wissenschaftler sind darauf gepolt, Neues zu finden, nicht Altes zu überdenken. Die Forschungsförderer unterstützen keine Projekte, in denen es darum geht, ältere Arbeiten zu überprüfen. Alles zielt auf Innovation ab. Und das ist ein großes Problem.“

Geliefert wie bestellt.

Man fragt nicht nach Wissen, man gibt Geld und Wissenschaftler-Ruhm letzlich nur für ein politisch genehmes Unterhaltungsprogramm.

Und das ist kein Zufall, das hat man in den letzten 20 Jahren sogar massiv gefördert und verlangt. Um sich politisch zu profilieren. Aus Vetternwirtschaft. Zur Frauenförderung. Oder schlicht, weil es angenehmer ist und man weniger arbeiten muss.

Ein Problem, das auch die niederländische Organisation für Wissenschaft, kurz NWO erkannt hat. Der größte staatliche Forschungsförderer in den Niederlanden hat deshalb ein Programm eingerichtet, um eben das zu unterstützen, wofür es traditionell kein Geld gibt: Replikationsprojekte, also Studien, die Studien wiederholen.

Ist das nun gut, um sie zu überprüfen, oder schmeißt man das gute Geld dem schlechten hinterher? Wenn die erste Studie Scharlatanerie war, ist es dann sinnvoll, den Unfug zu wiederholen, oder müsste man nicht erst mal überlegen, ob die Studie überhaupt was taugt und es vielleicht gar nichts bringen kann, sie zu wiederholen?

Überspitztes Beispiel: Einer beschreibt in der Studie, dass man die Benachteiligung von Frauen beweisen kann, indem man einfach die nächsten zehn Leute, die vorbeikommen, im Fluss ersäuft und die Luftblasen zählt. Völlig absurd. Wie sinnvoll wäre es, die Studie zu wiederholen um sie zu überprüfen?

„Die Leute meinten, Replikation, also Studien zu wiederholen, wäre etwas für zweitklassige Wissenschaftler. Forscher, die nicht genug Kreativität für eigene Ideen haben. Einige meinten, für so ein Programm gäbe es keine Nachfrage. Aber so war es nicht.“

Das kommt darauf an, ob die Ur-Studie von erst-, zweit- oder drittklassigen Wissenschaftlern begangen wurde.

Meiner Erfahrung nach braucht es übrigens weitaus mehr Wissen, Intelligenz und wissenschaftliche Befähigung, die Fehler einer Studie zu erkennen und nachzuweisen, als sie zu machen.

Beweis: Die Geisteswissenschaften und auch manche Bereiche der MINT-Fächer sind voll von Betrug und Blödsinn. Dumme Studien machen kann jeder. Aber nur die wenigsten sind in der Lage, die Fehler zu erkennen. Bestes Beispiel: Gender. Studien gibt es da in rauhen Mengen. Wieviele Leute sind an den Universitäten in der Lage zu erkennen, dass das nur Mist und Blödsinn ist? Eben.

„Die Ausschreibung war so erfolgreich, es war fast peinlich. Die meisten Bewerbungen waren einfach wunderbar. Und eingereicht von den erfolgreichsten der kommenden Generation, den besten Jungforschern in Biomedizin und Sozialwissenschaften. Offensichtlich sehen diese aufstrebenden Wissenschaftler die Notwendigkeit für Replikationsprojekte ganz klar. Das war für viele etablierte Forscher eine Überraschung.“

Na, sowas.

Wie kommt’s?

Zu den Geförderten gehören auch Jelte Wicherts und Paulette Flore. Statt ihre überraschenden, negativen Ergebnisse zur „Bedrohung durch Geschlechter-Stereotype“ in der Schreibtischschublade verschwinden zu lassen, können sie jetzt eine der zentralen Studien, die den Effekt belegt, wiederholen. Eine sorgfältige Replikation, so meint Jelte Wicherts, ist die beste Voraussetzung, um zu klären, ob und wenn ja unter welchen Umständen das Phänomen existiert. Für das Projekt hat er eigens eine neue Doktorandin ins Boot geholt. Eine alte Studie noch einmal haarklein nachmachen, als Doktorarbeit – vor ein paar Jahren wäre das noch undenkbar gewesen.

Geht es darum, die Studien zu überprüfen, oder geht es darum, sie gegen Kritik zu wappnen, indem man nun noch „bestätigt” draufstempelt? Und den Fehler vielleicht wiederholt oder genauso unseriös arbeitet?

Eine hochinteressante Frage: Ist eine sorgfältige Replikation geeignet, Fehler aufzudecken, oder sie zu reproduzieren? Geht die Flugabwehrrakete dann einfach wieder los?

Wenn man mal darüber nachdenkt, kann eine sorgfältige Replikation eine Studie zunächst mal nur widerlegen, eben indem das beschriebene Ergebnis nicht herauskommt. Kann sie sie aber bestätigen, indem sie zum gleichen Ergebnis führt, das dann auf denselben Fehlern beruht?

Das hängt davon ab, welchen Fehler man sucht. Geht es darum, dass die erste Studie gar nicht stattgefunden habe und frei erfunden ist, dann hilft es sicherlich, auszuprobieren, ob die beschriebenen Ergebnisse überhaupt zu beobachten sind. Ist die Studie dagegen nicht im experimentellen Sinne erfunden, sondern beruht auf Denkfehler oder Interpretationsfehlern, dann hilft es gar nichts, sie zu wiederholen. Dann wiederholt man die Fehler.

Beispielsweise strotzden die Sozial- und Politikwissenschaften vor Denkfehlern wie dem Simpson-Fehler oder Korrelationen für Kausalitäten zu halten, die zur Kategorie der „replikationsfesten” Fehler gehören, die also wiederholbar sind, dadurch aber und deshalb nicht die Abwesenheit als Fehler belegt wird. Man kann nur die Fehlerkategorie der nicht reproduzierbaren Fehler, wie Schlampereien, Messfehler oder frei erfundene Behauptungen durch Wiederholung erkennen.

Oder anders gefragt: Kann einer, der ein Studie (nur) durch präzises Wiederholen überprüft, ein guter Wissenschaftler sein? Oder dann doch nur Malen nach Zahlen?

Grundsätzlich sollte man denken, dass dass die Wiederholung eines Experimentes durch Andere gut und qualitätssteigernd ist. Das ist vielleicht etwas naiv und unterschätzt die kriminelle Energie von Professoren und anderen Universitätsbewohnern. Ich habe das mehrfach erlebt und von weiteren Fällen Kenntnis, in denen Leute die Kommissionen zur Untersuchung von Vorwürfen wissenschaftlichen Fehlverhaltens angerufen und solche Betrugsvorwürfe erhoben haben. Was passierte? (Auch in meinem eigenen Fall?) Es kommt ein zweiter und bestätigt dem ersten, dass er das für gut und richtig hält. Eine Hand wäscht die andere, und so unter Kollegen. Die Folge: Ja, nachdem es bestätigt wurde, kann am Verhalten des Angezeigten natürlich kein Zweifel mehr bestehen, also muss der Anzeiger ein Lügner sein.

Denn das ist das zentrale Problem: Die Universitäten und ihre Einwohner sind autoritätengläubig. Eine Studie, ein Experiment kann noch so schrottig und erlogen sein, in dem Momemt, in dem ein zweiter sie bestätigt, und sei es noch so offensichtlich erlogen und erfunden, gilt es als unantastbar und nicht mehr zu widerlegen.

Eigentlich wäre die Wiederholung eines Experimentes oder einer Studie in der Wissenschaft ein heiliger Vorgang. Die Qualität etwa der Physik beruht ja darauf, dass man da alles und jedes selbst nachprüft. Und das ist der Punkt: In den Physikbüchern steht eben nicht, dass es ein zweiter bestätigt hat, sondern wie man es selbst wiederholt und sich ansehen kann.

Das Problem an der Bestätigungsstudie ist, dass die Universitäten viel zu kriminell, unseriös und verlogen sind.

Aus den über 20 Jahren, in denen ich mich nun mit Hochschulkriminalität befasst habe, fällt mir jetzt spontan kein Fall ein, indem jemand durch Nachstellen eines Experimentes oder einer Studie wirklich irgendwas widerlegt oder belegt hätte. Aber mir sind viele Fälle bekannt (darunter mein eigener, siehe Gerichtsgutachter), in denen die „Bestätiger” genauso kriminell waren wie die Bestätigten, und es dadurch – die Bestätigungen waren nämlich auch frei erfunden wie erfundene Experimente – unangreifbar wurde.

Das Problem ist eben, dass Bestätigungen auch einfach nur Kriminalitätsverstärker sein können.

Ich warne daher dringen davor, Leuten zu vertrauen und zu glauben, die eine Studie nachstellen und sie bestätigt sehen. Einen Fehler zu wiederholen beweist nicht dessen Abwesenheit. Nur in der Wiederholung zu anderen Ergebnissen zu kommen ist eine relevante Aussage.