Bundespräsidentenwahl: Selbst perfekt gemachte Umfragen sind unsicher

Blog29. März 2016, 14:05
108 Postings

Das größte Problem mit den meisten Umfragen ist, dass wir nicht wissen, wie gut oder schlecht sie sind

Die Umfragen zur Bundespräsidentschaftswahl weichen zum Teil deutlich voneinander ab. Hier ein Überblick über die bisher veröffentlichten Werte, zusammengetragen von neuwal.com (angezeigt wird mangels genauerer Information das Veröffentlichungsdatum, das meist kurz nach der Erhebung liegt, in einigen Fällen aber deutlich später ist).

grafik: laurenz ennser-jedenastik

Im Mittel der fünf jüngsten Umfragen liegt Alexander Van der Bellen vor Norbert Hofer, gefolgt von Irmgard Griss (in der Grafik grau dargestellt), dahinter Rudolf Hundstorfer und Andreas Khol, zuletzt Richard Lugner (orange).

Auf den ersten Blick erscheint es vielleicht merkwürdig, dass zwischen einigen Umfragen größere Diskrepanzen bestehen. Die Werte von Van der Bellen schwanken zwischen 30 (Sora) und 19 Prozent (Imas), jene von Hundstorfer zwischen 14 (Sora, Spectra) und 21 Prozent (Imas).

Umfragen sind aber von Natur aus mit Unsicherheit behaftet, da sie auf Basis einer Stichprobe eine Schätzung über die Verteilung von Präferenzen in der Grundgesamtheit der Wählerinnen und Wähler vornehmen. Diese Unsicherheit wird für gewöhnlich mit Schwankungsbreiten quantifiziert.

Bei einer perfekten Zufallsstichprobe hängt die Schwankungsbreite von drei Faktoren ab:

  • der Größe der Grundgesamtheit
  • der Größe der Stichprobe
  • dem Prozentanteil einer Partei beziehungsweise eines Kandidaten in der Umfrage

Die Größe der Grundgesamtheit ist allerdings nur dann ein relevanter Faktor, wenn die Stichprobe im Vergleich zur Grundgesamtheit relativ groß ist – was bei Wahlumfragen praktisch nie der Fall ist (außer man führt etwa eine Befragung von 500 Personen in einer Gemeinde mit 2.000 Einwohnern durch).

Also lässt sich die Schwankungsbreite auf Basis der Stichprobengröße (n) und des in der Umfrage erreichten Prozentanteils (p) wie folgt berechnen:

Die zweite Grafik stellt dar, wie sich die Schwankungsbreite in Abhängigkeit von Stichprobengröße und Prozentanteil ändert. Je kleiner die Stichprobe und je näher der Umfragewert bei 50 Prozent, desto größer die Schwankungsbreite. Bei einer 400er-Umfrage ergibt sich also eine wesentlich kleinere Schwankungsbreite für eine 10-Prozent-Partei (±3%) als für eine 30-Prozent-Partei (±4,5%). Interessant ist auch, dass die Genauigkeit einer Umfrage nicht linear mit der Stichprobengröße zunimmt. Der Präzisionsgewinn zwischen n=400 und n=1.000 ist größer als jener zwischen n=1.000 und n=2.000.

grafik: laurenz ennser-jedenastik

Die Schwankungsbreite hat eine etwas seltsame Interpretation – sie besagt nämlich, dass bei oftmaliger Wiederholung der Umfrage der tatsächliche Wert in 95 Prozent der Fälle innerhalb der Schwankungsbreite liegt. Im Umkehrschluss bedeutet das auch, dass in fünf Prozent der Fälle der Wert außerhalb der Schwankungsbreite liegen würde.

Was bedeutet das nun für die Diskrepanzen in den oben genannten Wahlumfragen? Wenn etwa Van der Bellen im praktisch selben Zeitraum einmal bei 21 und einmal bei 30 Prozent liegt und beide Umfragen n=1.000 aufweisen, dann liegt eine dieser Umfragen ziemlich sicher daneben – was aber nicht unbedingt bedeutet, dass die jeweiligen Institute etwas falsch gemacht haben. Die Gesetze der Statistik besagen, dass gelegentliche Ausreißer nach unten oder oben selbst bei sauberer Durchführung aller Umfragen absolut zu erwarten sind.

Der zufällige Stichprobenfehler ist allerdings wohl das geringste Problem an den regelmäßig in Medien veröffentlichten Umfragen. Viel problematischer sind systematische Verzerrungen, die durch geringe Ausschöpfungsquoten oder das Abgehen vom Zufallsprinzip bei der Stichprobenziehung auftreten. Verschlimmert wird all das von der mangelnden Information der Institute beziehungsweise ihrer Auftraggeber über Kriterien für die Gewichtung, die Hochrechnung Unentschlossener und die Bewertung der Teilnahmewahrscheinlichkeit der Befragten. Oft wird nicht einmal der Befragungsmodus (telefonisch, online, face to face) bekanntgegeben.

Das Problem an den meisten Umfragen ist also nicht, dass sie unbedingt schlecht wären, sondern dass wir kaum Anhaltspunkte haben, um einschätzen zu können, wie gut oder schlecht sie tatsächlich sind.

Was also tun als politischer Konsument? Zuerst einmal ist es sinnvoll, ein gesundes Maß an Skepsis zu bewahren – besonders bei der anstehenden Bundespräsidentenwahl, für die die Institute auch weit weniger Routine haben als für die gängigere Sonntagsfrage zur Nationalratswahl. Darüber hinaus sollte man sich nicht auf einzelne Umfragen stürzen, sondern die Performance der Kandidaten im Schnitt über mehrere Umfragen einschätzen. Und wer die Unsicherheit, die allen Umfragen inhärent ist, so gar nicht aushält, für den gibt es eine ganz einfache Lösung: warten. Bis 24. April. (Laurenz Ennser-Jedenastik, 29.3.2016)

Share if you care.