Scherzartikel stellt Gutachtersystem bloß

8. Oktober 2013, 18:37
51 Postings

Peer-Reviews funktionieren bei einer ganzen Reihe neuer Zeitschriften gar nicht, zeigt eine neue (Fake-)Studie

Es war einer der am heftigsten diskutierten Wissenschaftsskandale der 1990er-Jahre. Sein Auslöser war eigentlich bloß ein Jux, den sich ein US-Physiker namens Alan Sokal machte, weshalb die ganze Geschichte auch als Sokal-Affäre in die Geschichte einging.

Sokal war erbost über den postmodernen Relativismus, der sich in den Kulturwissenschaften breitgemacht hatte. Er verfasste deshalb einen Artikel, der vor relativistischem Unfug strotzte, und schickte ihn an die Zeitschrift Social Texts, eines der Hauptorgane der akademischen Postmoderne.

Die Zeitschrift publizierte den Scherz-Artikel, und zwar ausgerechnet in einer Nummer, die den sogenannten "science wars" gewidmet war - einer Auseinandersetzung zwischen einigen Wissenschaftshistorikern und -soziologen, die gewisse Wahrheitsansprüche der Naturwissenschaften infrage stellten, sowie Naturwissenschaftern, die sich dagegen wehrten.

Abgedruckter Fake-Artikel

Einer davon war Sokal, dessen Hoax die Debatte gehörig anfachte. Für ihn und andere Naturwissenschafter war klar: Wenn eine Fachzeitschrift so einen Unsinn abdruckt, dann kann es mit der Wissenschaftlichkeit der Kulturwissenschaften nicht weit her sein. Andere hielten dem entgegen, dass die Zeitschrift einfach kein richtiges Peer-Review hatte, also kein Begutachtungsverfahren, bei dem Fachkollegen den Text auf seine Qualität und etwaige Fehler überprüfen.

Diese zweite Interpretation der Sokal-Affäre stützt nun ein ähnliches Experiment, das in der aktuellen Ausgabe der US-Wissenschaftszeitschrift Science enthüllt wurde. Zugleich verweist die neue Affäre um einen sehr fehlerhaften Text darauf, dass in den Naturwissenschaften heute noch sehr viel größere Probleme bei der Qualitätskontrolle herrschen - zumindest im Bereich der wie Schwammerl aus dem Boden schießenden Open-Access-Zeitschriften.

Der umtriebige US-Biologe und Wissenschaftsjournalist John Bohannon wollte testen, wie es im Jahr 2013 mit dem Peer-Review dieser Zeitschriften bestellt ist, die ihre Artikel für alle zugänglich ins Netz stellen. Diese Fachjournale haben logischerweise auch ein ganz anderes Finanzierungsmodell: Anders als bei den traditionellen Magazinen, die von Bibliotheken oft für teures Geld angeschafft werden, müssen die Autoren für die Veröffentlichung in einem Open-Access-Journal im Normalfall etwa 3000 Euro zahlen, damit ihr Text - nach zuvor erfolgter Qualitätskontrolle - für alle zugänglich erscheinen kann.

Bohannon verfasste einen frei erfundenen Artikel, der die Anti-Krebs-Wirkung eines fiktiven Moleküls beschrieb, das angeblich aus Flechten extrahiert wurde. Mithilfe eines Computerprogramms tauschte Bohannon die Art der Flechte und die vom Wirkstoff beeinflusste Zelllinie aus und erhielt so eine erhebliche Anzahl recht ähnlicher, aber doch einzigartiger Manuskripte.

In die Texte wurden dann auch noch gravierende wissenschaftliche Fehler eingebaut, und zu allem Überfluss ließ Bohannon sie auch noch durch Google vom Englischen ins Französische übersetzen und wieder zurück. Schließlich bewies er auch noch bei der Autorenfrage Fantasie: Einer seiner zahllosen beteiligten Forscher war etwa ein gewisser Ocorrafoo Cobange vom Wassee Institute of Medicine in Asmara in Eritrea.

Fehlende Qualitätskontrolle

Zwischen Januar und August 2013 sandte er sein wissenschaftliches Fake-Manuskript an insgesamt 304 Open-Access-Zeitschriften, darunter das American Journal of Medical and Dental Sciences oder das European Journal of Chemistry. Trotz ihres "westlich" klingenden Namens sind nicht wenige der Journale in Asien oder Afrika beheimatet.

Das ernüchternde Ergebnis: 157 von ihnen akzeptierten die Arbeit, nur 98 wiesen sie ab. Die übrigen Magazine hatten sich noch nicht entschieden - oder waren noch zu keiner Entscheidung gekommen.

149 der "Fachmagazine" zeigten "überhaupt keine Anzeichen eines Peer-Reviews", wie Bohannon schreibt. Auf den Prozess selbst kann man sich aber offenbar auch nicht verlassen, denn 70 Prozent der Zeitschriften, die die Studie begutachteten, akzeptierten sie am Ende, darunter auch solche, die unter der Regie der Verlagsriesen Sage, Wolters Kluwer und Elsevier erscheinen.

Das Sage-Magazin Journal of International Medical Research etwa nahm den Artikel ohne Rückfrage an und schickte postwendend eine Rechnung über 3100 US-Dollar. Nur 36 Zeitschriften fielen die offensichtlichen wissenschaftlichen Fehler auf; 16 wollten die Studie dennoch veröffentlichen.

Open Access muss allerdings nicht automatisch schlechte Kontrolle bedeuten: PLoS One, die mittlerweile größte Wissenschaftszeitschrift der Welt, wird von Bohannon sogar lobend erwähnt: Als einziges der angeschriebenen Journale beklagte es zuerst ethische Probleme der Studie, danach wies es sie in kürzester Zeit aus inhaltlichen Gründen zurück. (Klaus Taschwer, DER STANDARD, 9.10.2013)

  • Die Wissenschaft wird von neuen Fachjournalen überschwemmt. Strenges Peer-Review wie in "Nature" oder "Science" passiert nur in Ausnahmefällen.
    illustration: thomas korn

    Die Wissenschaft wird von neuen Fachjournalen überschwemmt. Strenges Peer-Review wie in "Nature" oder "Science" passiert nur in Ausnahmefällen.

Share if you care.