London - Es ist mit dem Peer-Review - also der Beurteilung von wissenschaftlichen Projektanträgen Publikationen durch Fachkollegen - ein bisschen so wie mit der Demokratie. In den leicht abgewandelten Worten von Winston Churchill: Peer-Review ist ein schlechtes Verfahren der Qualitätskontrolle, aber von allen Verfahren das am wenigsten schlechte. Und: Es reagiert sehr empfindlich auf schlechte Gutachter.

Genau das behauptet Stefan Thurner, Leiter der Forschungsgruppe für Komplexe Systeme an der Med-Uni Wien, gemeinsam mit seinem Kollegen Rudolf Hanel. Die beiden Forscher analysierten, was passiert, wenn einige der Gutachter nicht - wie es sich gehört - gute Artikel als gut und schlechte als schlecht beurteilten, sondern auch nach eigenen Interessen handeln ("rational") oder aus verschiedenen Gründen (mangelnde Zeit, etc.) eher zufällig zu ihrer Bewertung kommen.

Nach Durchläufen mit 1000 Wissenschaftern und 500 Verfahren zeigte sich, dass bereits eine geringe Anzahl an schlechten Gutachtern reicht, um die Qualität der positiv bewerteten und publizierten Artikel nachhaltig sinkt. Wenn die Gutachter zu je einem Drittel aus "guten" Gutachtern, "rationalen" und zufällig agierenden besteht, dann versagt die Qualitätskontrolle ganz, sagt Thurner, der auch eine Idee hat, wie man das System verbessern könnte: Er schlägt vor, die Arbeiten erst einmal auf Preprint-Servern wie arXiv zu stellen. Herausgeber und "Scouts" von wissenschaftlichen Zeitschriften würden dort nach den besten Arbeiten suchen und diese dann veröffentlichen.

Der Text von Thurner und Hamel ist übrigens noch in der Phase der Begutachtung und wurde bis jetzt nur auf arXiv veröffentlicht. In der Fachwelt sorgte er allerdings bereits jetzt für heftige Diskussionen (etwa im Fachmagazin "Physicsworld").

Wie dringend das Problem der Qualitätskontrolle ist, wird durch einen Aufsatz klar, den die US-Forscherin Adriane Fugh-Berman in der Fachzeitschrift "PLoS Medicine" publizierte. Sie schaute sich 1500 Dokumente durch, die von der Pharmafirma Wyeth zugänglich gemacht werden mussten, nachdem bekannt wurde, dass diese eine Agentur damit beauftragt hatte, das Hormonmittel Prempro positiv darzustellen.

Auf diese Kombination aus Werbetext und Namen waren zwischen 1997 und 2003 unter anderem das "American Journal of Obstetrics and Gynecology" und "International Journal of Cardiology" hereingefallen. Die Firma Pfizer, die Wyeth in der Zwischenzeit schluckte, lässt weiterhin ähnliche Texte produzieren. (tasch/DER STANDARD, Printausgabe, 11./12. 9. 2010)