Wien – Sieht man die reine Punktezahl an, dann hat sich Österreich bei der neuen Pisa-Studie 2015 in allen drei Teilgebieten verschlechtert – zwar nur leicht (um fünf Punkte im Lesen, um neun Punkte in Mathematik und um elf in Naturwissenschaften), aber die Leistungen waren eben doch weniger gut als bei der Testung 2012.

Das aber zweifelt der Wiener Statistiker Erich Neuwirth massiv an. "Die Aussagekraft der Pisa-Werte für Österreich ist sehr relativ zu sehen. Nach diesem Test ist bei weitem nicht statistisch gesichert, dass wir uns verschlechtert haben", sagt der ehemalige Professor der Universität Wien im STANDARD-Gespräch. "Vor allem, weil die Verschlechterung zum größten Teil nur bei den Mädchen festgestellt wird."

Insbesondere sei zu berücksichtigen, dass die Mädchen beim Lesen zwar traditionell besser sind, sich aber deutlich verschlechtert haben, während die Buben etwas besser geworden – aber immer noch schlechter als die Mädchen – sind. In Mathematik und in den Naturwissenschaften verschlechterten sich beide Gruppen, die Mädchen aber doch deutlich mehr.

Computer statt Bleistift und Papier

Grund für Neuwirths Vorbehalte hinsichtlich des allgemeinen Verschlechterungsbefundes ist der Wechsel des Messverfahrens, dessen Auswirkungen zumindest für Österreich nicht durch eine geeignete vergleichende Untersuchung quantifizierbar seien. Denn bei der Testung 2015 mussten die getesteten Schülerinnen und Schüler erstmals alle Fragen am Computer beantworten, in den Jahren davor immer mit Papier und Bleistift.

Und da gibt es ein spezifisches Österreich-Problem – oder, wie Neuwirth es formuliert: "Da ist ein dicker Hund in Österreichs Pisa-Ergebnissen, weil wir nicht am Feldtest 2014 teilgenommen haben. Wir müssen jetzt ausbaden, was die ehemalige Bildungsministerin Gabriele Heinisch-Hosek mit ihrer übertriebenen Panikreaktion verursacht hat."

Fehlende Vergleichbarkeit

Heinisch-Hosek hatte, als Gerüchte über ein vermeintliches Datenleck auftauchten, die Vorbereitungen für Pisa gestoppt. Mit dem Effekt, "dass sich Österreich genau aus dem Teil ausgeklinkt hat, in dem es um die Vergleichbarkeit ging", kritisiert Neuwirth. Er hatte schon damals vor "unangenehmen Folgen" gewarnt, "wenn sich Österreich aus dem Eichverfahren für das neue Testverfahren ausschließt". Dadurch würde sich die Aussagekraft der nun vorliegenden Pisa-Ergebnisse drastisch reduzieren, erklärt der Statistiker.

Er fordert daher "tiefergehende Untersuchungen", um die Relevanz der Pisa-Ergebnisse zu untermauern. Das Bundesinstitut für Bildungsforschung (Bifie), das mit der Abwicklung der Pisa-Studie betraut ist, solle die Pisa-Aufgaben von einer Gruppe in der neuen Version am Computer und von einer in der bisherigen Papierform lösen lassen, um dann etwaige Unterschiede analysieren zu können.

Computereinsatz im Unterricht

Für die vorliegenden quantitativen Ergebnisse beziehungsweise Unterschiede zwischen Mädchen und Buben seien als Erklärung etwa denkbar, dass sich Schülerinnen und Schüler aus Ländern, in denen der Computereinsatz im Unterricht etablierter sei als in Österreich, bei Pisa dann leichter getan hätten, sagt Neuwirth.

Das vergleichsweise bessere oder deutlich weniger verschlechterte Abschneiden der österreichischen Buben könnte aber auch ein Effekt davon sein, dass sich Buben "vielleicht außerhalb der Schule eher mit Computern beschäftigen als Mädchen", nennt Neuwirth eine Erklärungshypothese.

Auch im Österreich-Bericht zur aktuellen Pisa-Studie wird darauf hingewiesen, dass die Rückgänge Österreichs zum Teil mit der geänderten Erhebungsmethodik zusammenhängen könnten. Zeitreihenvergleiche seien "mit gewissen Einschränkungen bei der Interpretation verbunden". Durch die Übertragung der Papierversion in eine Computerversion könne sich "die Schwierigkeit der Aufgabe für die Schüler/-innen ändern", ist da zu lesen.

Kein Rückschluss auf einzelne Länder

Eine sogenannte Mode-Effect-Studie im Vorfeld sollte die Auswirkungen dieses Übersetzungsprozesses nachvollziehbar machen. Laut OECD sind die Ergebnisse der beiden Erhebungsarten zwar auf internationaler Ebene vergleichbar, allerdings seien "keine aussagekräftigen Rückschlüsse für einzelne Länder" möglich. "Es kann also durchaus sein, dass in einzelnen Ländern der Wechsel auf eine computerbasierte Erhebung teilweise die Ergebnisse beeinflusst hat."

Dieser Vergleich mit der Papierversion von Pisa ist aber in Österreich eben nicht möglich, weil im Vorfeld aufgrund der nationalen Pisa-Turbulenzen nur computerbasiert getestet wurde. Es gebe daher "keinen Anhaltspunkt dafür, wie groß die durch eine Erhebungsmodalität bedingte Veränderung (Mode Effect) ausfällt".

Papier-Pisa war leichter

Für Deutschland, so steht es im Österreich-Bericht, liefere der Feldtest Hinweise darauf, "dass die Pisa-Aufgaben im Mittel am Computer schwerer waren als auf Papier". Diese "Mode Effects" scheinen in den Naturwissenschaften am größten und bei den Lesebeispielen am geringsten zu sein. (Lisa Nimmervoll, 8.12.2016)