Zugegeben, diese Nachricht wird die Welt nicht aus den Angeln heben, aber man soll sich ja im Leben auch an den kleinen Dingen erfreuen: Die durchschnittliche Stichprobengröße von in Österreich veröffentlichten Sonntagsfragen hat sich binnen zwei Jahren verdoppelt.

Die Grafik unten zeigt, dass der Median der Stichprobengröße pro Quartal nach der Nationalratswahl 2013 noch bei rund 400 Befragten lag, sich ab 2016 aber schrittweise auf über 600 Personen erhöhte und heute in der Gegend von 800 liegt.

Angetrieben wurde diese Entwicklung unter anderem durch die Festsetzung von Richtlinien für die Veröffentlichung von Umfragen durch den Verband der Markt- und Meinungsforschungsinstitute Österreichs. Einer der zentralen Punkte in diesem Kriterienkatalog ist eine Stichprobengröße von zumindest 800 Personen.

Mehr Befragte pro Umfrage bedeuten aber natürlich auch, dass die Auftraggeber (Printmedien in aller Regel) tiefer in die Tasche greifen müssen. Zumindest bisher hat sich dieser erhöhte Aufwand jedoch nicht in einer geringeren Zahl an veröffentlichten Sonntagsfragen niedergeschlagen.

Größere Stichproben sind insofern positiv, als sich dadurch – wenn alles andere gleich bleibt – die Schwankungsbreiten um die geschätzten Stimmenanteile verringern (diese Logik habe ich hier schon einmal ausführlicher erklärt). Das bedeutet schlicht, dass ein Prozentwert mit weniger Unsicherheit behaftet ist, wenn er aus einem 800er-Sample geschätzt wird, als wenn er auf einer 400er-Stichprobe basiert. Je näher der Wert bei 50 Prozent, desto relevanter ist dieser Unterschied (weil Werte näher bei 50 Prozent per se immer höhere Schwankungsbreiten aufweisen).

Größere Stichproben sind also uneingeschränkt zu begrüßen, lösen aber natürlich nicht jedes Problem der Erstellung und Interpretation von Sonntagsfragen. Der Schlüssel zu einer validen Hochschätzung ist immer noch eine sauber gezogene und repräsentative Stichprobe – worüber die Zahl der Befragten allein gar nichts aussagt.

Und natürlich gilt weiterhin, dass einzelne Datenpunkte wenig belastbar sind. Viel sinnvoller ist es, viele Umfragen zu aggregieren, weil damit die Ergebnisse robuster werden. Eine empfehlenswerte Seite ist etwa pollofpolls.eu, wo Sonntagsfragen aus allen 28 EU-Ländern gesammelt und aggregiert werden. Wobei auch hier Vorsicht geboten ist: Wenn manche Umfrageinstitute anderen beim Hochrechnen über die Schulter schauen (siehe hier), dann können sich systematische Verzerrungen einschleichen, die auch durch Aggregation nicht verschwinden.

Es bleiben also genug Schwierigkeiten. Dennoch wurde mit den größeren Stichproben zweifellos ein wichtiger Schritt getan, um ein verlässlicheres Bild der politischen Stimmungslage in Österreich zu bekommen. (Laurenz Ennser-Jedenastik, 31.8.2018)