Im Quantensumpf der Forschungsevaluierung

26. März 2009, 18:53
40 Postings

Vom Elend quantitativer Erhebungsmethoden am Beispiel der BMWF-Verordnung zur Erstellung einer "Wissensbilanz" an Österreichs Universitäten - von Rudolf Zechner

Die Qualität von Forschungsleistungen zu beurteilen ist eine wichtige, wenn auch ausgesprochen schwierige Angelegenheit. Ähnlich wie der Sport oder die Kunst lebt auch die Wissenschaft davon, dass Spitzenleistungen erzielt werden. Durchschnittliches oder gar unterdurchschnittliches "Dahintümpeln" ist kontraproduktiv. Weder Impulse für Innovationen noch die Grundlagen für die Beantwortung drängender Fragen sind davon zu erwarten. In der Welt des Sports ist alles klar: schneller, höher, stärker - das ist maßgebend. Kann man aber Qualität wissenschaftlicher Forschungsergebnisse ähnlich klar beurteilen, kann man sie messen?

Durchaus analog zur Kunst lässt sich wissenschaftliche Qualität nur schwer oder gar nicht messen. Wir müssen uns der Möglichkeit der Qualitätsbewertung bedienen, um Forschungsleistungen einschätzen zu können. Wie in der Kunst ist man dafür auf die Urteilskraft von Experten angewiesen. Der Prozess, in dem anerkannte Experten aus dem Wissenschaftsbereich den Wert wissenschaftlicher Arbeit begutachten, bezeichnet man als "Peer review". Keine Frage, auch diese Methode weist zahlreiche Probleme auf; sie bleibt allerdings die international weitgehend anerkannte "Best practice Methode", um im Wettbewerb der Ideen die besten und Erfolg versprechendsten Projekte sozusagen "ex ante" zu identifizieren und deren Umsetzung zu ermöglichen.

Die Komplexität dieses "Peer reviews" und vielleicht auch die damit verbundenen vermeintlich zu hohen Kosten verleiten allerdings manche Verantwortungsträger/innen in der Forschungspolitik immer wieder dazu, die Leistungsfähigkeit der Forschung ausschließlich auf quantitative Größen zu reduzieren. So soll das Unmögliche möglich gemacht werden. Es wird gemessen und gewogen, was da so geforscht wird. Die ultimative Fehlentwicklung in dieser Beziehung ist die sogenannte "Wissensbilanz" der österreichischen Universitäten. Schon der Name "Wissensbilanz" ist irreführend, weil diese Statistik mit Wissen praktisch nichts zu tun hat. Die durch eine 32-seitige Verordnung des BMWF geregelte Maßnahme verpflichtet die österreichischen Universitäten jede noch so unbedeutende Leistung ihrer Forscher und Forscherinnen in einem unendlichen Zahlenmoloch im Detail aufzulisten, ohne die Qualität der jeweiligen Leistung in irgendeiner Form zu berücksichtigen.

Was bei der Auswertung solchen Unfugs herauskommt, kann man exemplarisch in einem Standard-Artikel zum Ranking der Forschungsleistungen österreichischer Unis vom 10. März 2009 nachlesen. Da werden unter dem Titel "Wissenschaft wird messbar" unterschiedlichste Publikationen ohne Rücksicht auf deren Qualität zusammengezählt, durch die Zahl der jeweiligen Uni-Bediensteten dividiert und eine darauf beruhende "Rangliste" erstellt.

Ministerielle Realsatire 

Da ist es gleichgültig, ob jemandem eine Publikation in Nature oder den Mitteilungen eines Schrebergartenvereins gelungen ist, ob man eine Monografie im Verlag der Oxford University Press oder eine Zusammenfassung für eine lokale Tagung verfasst hat. Alles zählt, und - wie zu befürchten ist - alles zahlt sich aus, weil, wie verlautet wird, diese Input-Output-Analyse als Diskussionsgrundlage für die Leistungsvereinbarungen zwischen Ministerium und Universitäten dienen wird.

Budgetzuweisungen auf Basis dieses statistischen Unsinns sind aber nicht nur unvernünftig, sondern geradezu wissenschaftsschädigend. Es zählt nämlich Masse statt Klasse, und Forschern/Forscherinnen wird signalisiert, dass eine große Zahl unbedeutender Leistungen allemal besser ist als einzelne Spitzenleistungen - eine Groteske mit (leider) realsatirischen Zügen.

Wird in Zukunft der Erfolg sportlicher Leistungen und die damit verbundene staatliche Förderung ebenfalls von der Zahl der absolvierten Veranstaltungen abhängen, auch wenn sie noch so unbedeutend sind? Wird die Qualität von Kunst oder Künstler staatlich danach gemessen, wie viele Stücke Sänger gesungen und Dirigenten dirigiert haben? Wird die Anzahl gemalter Bilder ein wichtiges Kriterium der Bewertung der Qualität bildender Kunst und der Kunstförderung werden? Ich fürchte mich schon vor Verordnungen zu Kunstbilanz und Sportbilanz.

Was ist zu tun? Die schädliche Verordnung zur Wissensbilanz muss unverzüglich zurückgenommen werden oder darf zumindest nicht als Basis für die Forschungsfinanzierung an Universitäten Anwendung finden. Forschungsbudgets sollten nur nach kompetitiver "Ex ante"-Peer-review-Evaluierung vergeben werden.

Voraussetzung dafür ist, dass die Budgets für Forschung und Lehre an den Universitäten getrennt und jeweils leistungsbezogen vergeben werden. Nur so ist Kostenwahrheit zu erreichen, kann Querfinanzierung zwischen Forschung und Lehre vermieden werden und Qualitätsorientierung an Österreichs Hohen Schulen Platz greifen.

Leider gehen die Entwicklungen gegenwärtig in eine ganz andere Richtung: Nach allen derzeit zur Verfügung stehenden Informationen wird dem Forschungsförderungsfonds FWF 2009 und 2010 weniger Vergabebudget zur Verfügung stehen als in der Vergangenheit (ca. 180 Millionen Euro). Die ersten beiden Vergabesitzungen des FWF wurden heuer wegen fehlender Budgets bereits abgesagt. Damit ist frühestens im Mai mit den ersten neu bewilligten Projektförderungen zu rechnen. Im Gegensatz dazu wird das Universitätenbudget (General University Fund, GUF, derzeit ca. 2.2 Milliarden Euro) und damit die nicht-projektbezogene, "automatische" Forschungsförderung der öffentlichen Hand (47 Prozent des GUF gelten - durch technokratische Brille besehen - als forschungswirksam) steigen. Damit wird - völlig dem internationalen Trend entgegengesetzt - die in Österreich ohnehin schon auf Sparflamme gehaltene, kompetitive, projektbezogene Forschungsfinanzierung weiter geschwächt.

Wenn dann noch, wie angekündigt, die Wissensbilanz als Basis für die forschungsrelevante GUF-Zuteilung herangezogen wird, na dann - "Gute Nacht, liebe Forschung in Österreich!" (Rudolf Zechner, DER STANDARD, Print-Ausgabe, 27. März 2009)

Zur Person
Rudolf Zechner ist Professor für Biochemie an der Universität Graz, Mitglied der Österreichischen Akademie der Wissenschaften und Wittgensteinpreisträger des Jahres 2007.

Share if you care.