Wer einen Blick auf die öffentlich verfügbaren Umfragen zur Nationalratswahl wirft (etwa hier), dem wird schnell auffallen, dass sich in den letzten Wochen herzlich wenig bewegt hat. Manche Parteien scheinen gar bei bestimmten Werten festgenagelt zu sein.

Ist diese Tatsache allein einer stabilen Meinungslage zu verdanken, oder könnte es sein, dass die Umfrageinstitute bei der Veröffentlichung ihrer Werte mit einem Auge auf die Konkurrenz schielen? Gibt es Hinweise auf "Herding" – darauf also, dass Institute ihre Ergebnisse in Richtung des herrschenden Konsenses anpassen?

Nehmen wir als Beispiel die ÖVP: Seit Sebastian Kurz Mitte Mai die Parteispitze übernommen hat, wurden 34 Umfragen von Medien veröffentlicht. Im Durchschnitt erreicht die ÖVP in diesen Umfragen 33 Prozent der Stimmen – manchmal mehr, manchmal weniger.

Treffen wir der Einfachheit halber nun folgende Annahmen:

• Die ÖVP liegt seit dem Wechsel an der Spitze tatsächlich konstant bei 33 Prozent in der Wählergunst.
• Die Umfrageinstitute unterscheiden sich nicht systematisch in ihren Hochrechnungsmethoden (keine "House Effects").
• Alle Umfragen basieren auf Zufallsstichproben.

Wichtig: Alle diese Annahmen (von denen Nummer 2 und 3 sicher nicht zutreffen) machen es wahrscheinlicher, dass es keine großen Schwankungen in den Umfragen gibt. Die Hürde, um "Herding" zu entdecken, wird damit höher.

Nach den Gesetzen der Statistik sollten bei durchschnittlich rund 700 Befragten und einem tatsächlichen Zustimmungsgrad zur ÖVP von 33 Prozent die 34 Umfragen mit einer Standardabweichung von 1,8 Prozentpunkten streuen (die Quadratwurzel aus 0.33 * (1 – 0.33) / 700). Durch zufällige Abweichungen in den Stichproben wird diese Schwankung manchmal etwas geringer, manchmal etwas größer ausfallen. Für die tatsächlich vorliegenden 34 Umfragen beträgt sie allerdings nur 1,1 Prozentpunkte.

Um zu veranschaulichen, wie ungewöhnlich diese Diskrepanz ist, kann man eine Simulation vornehmen: Man zieht per Zufallsgenerator 10.000-mal je 34 "Umfragen" (analog zu den 34 real existierenden) aus einer Normalverteilung mit Mittelwert 33 (dem mittleren ÖVP-Stimmenanteil) und Standardabweichung 1,8. Diese 10.000 Simulationen zeichnen ein genaues Bild davon, welches Ausmaß an Streuung bei 34 Umfragen wie wahrscheinlich ist.

Die Grafik zeigt in Grau die Verteilung der Standardabweichungen aus den 10.000 Sets mit je 34 simulierten Umfragen. Wie erwartet landet die relative Mehrheit in der Nähe von 1,8 Prozentpunkten Standardabweichung. Je weiter man sich von diesem Wert entlang der x-Achse wegbewegt, desto weniger der 10.000 Simulationen fallen in den Bereich. Eine real vorliegende Streuung von nur 1,5 Prozentpunkten etwa wäre demnach zwar gering, aber nicht extrem auffällig. Rund elf Prozent aller Simulationen liegen unter diesem Wert.

Die pink gestrichelte Linie zeigt uns die Streuung in den tatsächlich vorliegenden ÖVP-Werten (1,1 Prozentpunkte). Hier liegen praktisch alle simulierten Werte rechts davon. Die Wahrscheinlichkeit, dass die geringe Abweichung in den ÖVP-Umfrageergebnissen also rein durch Zufall zustande kommt, ist demnach sehr klein.

Ist damit ein eindeutiger Beweis für bewusstes Fehlverhalten erbracht? Eher nicht. Umfrageinstitute haben viele Freiheitsgrade bei der Erstellung von Hochrechnungen: Wonach wird gewichtet? Wie wird die Wahlbeteiligung modelliert? Wie geht man mit Nichtdeklarierten um? Aus vielen möglichen Varianten werden die Meinungsforscher eher jene auswählen, deren Ergebnisse ihnen plausibel erscheinen. Und plausibel ist eher das, was nicht zu weit vom Konsens der bereits veröffentlichten Umfragen entfernt ist.

Dennoch: Wären die Institute komplett unbeeinflusst voneinander, dann würden wir wohl größere Unterschiede zwischen den Umfragen sehen. (Laurenz Ennser-Jedenastik, 19.9.2017)