Seit die Frau Unterrichtsminister die Pisa-Tests abgesagt hat, hagelt es Vorwürfe von allen Seiten. Vorweg sei gesagt: Gott sei Dank wurden diese Tests abgesagt, denn sie bedürfen - zumindest für den Bereich Lesen - einer völligen Revision der Texte und der Sprachnormen, die dort als Standard vorausgesetzt werden.

Die Texte wurden bisher nicht auf ihre sprachliche Qualität beziehungsweise auf die testtheoretische Stichhaltigkeit überprüft, sondern als repräsentativ angenommen. Die 16 Texte, die vom Bifie veröffentlicht wurden, zeigen jedoch, dass ein abgehobenes Sprachniveau vorausgesetzt wird und diese vielfach inhaltlich wie sprachlich für die Altersgruppe ungeeignet sind. Zahlreiche Mängel gibt es auch in den Fragestellungen, sodass eine umfassende Diskussion der Pisa-Tests notwendig scheint, bevor erneut getestet wird.

Zur Überprüfung der Lesefertigkeiten der 14- bis 15-Jährigen werden jeweils ein literarischer Text und ein Sachtext verwendet. Pro Text werden zwischen 15 bis 17 Fragen gestellt, die in 45 Minuten zu beantworten sind, das heißt, es stehen pro Frage nur 2,35 Minuten zur Verfügung, was eindeutig zu wenig ist, da manche Texte zweieinhalb A4-Seiten lang sind. Man kann sich auf die Tests auch nicht wirklich vorbereiten, da nur 16 Texte und nur eine geringe Auswahl von Testfragen veröffentlicht wurden. Da Testformate ein eigenes Wissen zu ihrer Lösung voraussetzen, ist das ein Umstand, der die Ergebnisse verfälscht.

Ein weiterer Punkt sind die Themen, die in den (literarischen) Texten behandelt werden. Sie sind hochliterarisch bis philosophisch: (a) Die Reaktion eines kleinstädtischen Publikums auf die "Illusionsmaschine" Kino; (b) Die Probleme eines Schriftstellers beim Schreiben von literarischen Texten; (c) Graffiti: Kunst oder bloß Sachbeschädigung?; (d) Was soll mit eingefrorenen Embryonen geschehen, deren Eltern verunglückt sind; (e) Ein Prinz soll von seinen quälenden Erinnerungen an seine Liebe befreit werden usw. Sieht man von Text (c) ab, sind die anderen der Lebenswelt der Zielgruppe fremd bis irrelevant und erst für ältere Schüler von Interesse.

Ähnlich ist es mit sieben von elf Sachtexten, wo unter anderem (a) ein Büchereiplan, (c) der Wasserstand des Tschadsees, (c) ein 24 Kategorien umfassender Bericht über ein Projekt der Entwicklungszusammenarbeit präsentiert wird etc. Diese Texte sollen zeigen, ob die Getesteten in der Lage sind, Sachinformationen aus den Zahlenwerken zu extrahieren. Viele der Fragen sind jedoch - so das Urteil meiner Studierenden - eher Mathematik- bzw. Denksportaufgaben als Aufgaben zum Leseverständnis.

Hoher Schwierigkeitsgrad

Am schwerwiegendsten wiegen jedoch die sprachlichen Anforderungen der Texte. Die literarischen Texte sind im Durchschnitt 847, die Sachtexte 448 Wörter lang. Die Überprüfung des Lesbarkeitsgrades mithilfe verschiedener Lesbarkeitsindexe (Flesh, Lix) ergibt, dass mindestens ein Text auf Universitätsniveau angesiedelt ist, sechs auf dem Niveau schwerer bis mittelschwerer Zeitungstexte und lediglich fünf als durchschnittlich bis leicht lesbar einzustufen sind. Manche Lesbarkeitsindexe (Coleman-Liau, Ari) machen auch eine ungefähre Aussage darüber, wie viele Ausbildungsjahre notwendig sind, um den jeweiligen Text verstehen zu können. Demnach benötigt man für zehn der zwölf Texte zwischen zwölf und 18 Ausbildungsjahre, das heißt Maturaniveau beziehungsweise Universitätsniveau.

Anhand der sogenannten Type-Token-Relation (je höher, umso vielfältiger das Vokabular) zeigt sich außerdem, dass die Texte auch im Wortschatz sehr komplex sind. Acht der zwölf Texte haben einen TT-Wert zwischen 50 und 71,5 Prozent, was bedeutet, dass zwischen 50 und 71,5 Prozent der Wörter des Textes verschiedene Wörter sind. Bei einem Text beträgt die durchschnittliche Satzlänge 34,5 Wörter, der längste Satz hat 57 Wörter und besteht aus sieben (!) Teilsätzen.

Auch bei den Fragestellungen stimmt einiges nicht: Welchen Sinn soll es zum Beispiel haben, wenn die Schüler aus dem Stück die Bühnenanweisungen im Stück erkennen und den jeweiligen Theatertechnikern zuweisen sollen? Und wie realistisch ist es, dass man auf einen Bibliotheksplan einzeichnen muss, wo man einen Roman auf Französisch findet und dann angeben soll: "Nahe dem Eingang!". Bei der Aufgabe über die Erwerbstätigkeit ist zu wählen zwischen "Dem Arbeitsmarkt zur Verfügung stehend: beschäftigt", "Dem Arbeitsmarkt zur Verfügung stehend: nicht beschäftigt", "Dem Arbeitsmarkt nicht zur Verfügung stehend" und "Unter keine Kategorie fallend". Hier stellt sich die Frage: Wieso steht man dem Arbeitsmarkt zur Verfügung, wenn man beschäftigt ist? Üblicherweise stehen Personen mit Beschäftigung dem Arbeitsmarkt nicht zur Verfügung, da sie ja in einem Beschäftigungsverhältnis stehen.

Das alles zeigt, dass eine gründliche Überprüfung der Texte erfolgen muss. Das gilt auch für den österreichischen Sprachgebrauch, der vielfach nicht gegeben ist, wenn es "hatte gestanden" statt "war gestanden" heißt. Internationale Vergleichstests sind sinnvoll, aber nur dann, wenn sie zuverlässige Ergebnisse bringen, denen ein allgemeines Sprachniveau zugrunde liegt und nicht auf einer elitären, abgehobenen Sprachwelt, die nur eine kleine Minderheit repräsentiert. Es bedarf dazu Untersuchungen über den durchschnittlichen österreichischen Sprachgebrauch und eine Anpassung der Texte an die hiesigen Sprachverhältnisse. Erst dann ist Pisa wieder sinnvoll. (Rudolf Muhr, DER STANDARD, 15.4.2014)