Statistische Signifikanz

Dieser Beitrag ist ein Nachtrag zur Serie „Traue keiner Statistik, die Du nicht selbst gefälscht hast„. Er wurde größtenteils schon vor längerer Zeit geschrieben, blieb aber dann eine Weile unveröffentlicht.

Aussagen aus Statistiken sind, vor allem dann wenn nur wenige Stichproben ausgewertet werden, immer nur eine Wahrscheinlichkeitsaussage. Das heißt, dass es tatsächlich gar keinen Unterschied in der Wahrscheinlichkeit geben muss, nur weil sich zwei statistisch erfasste Größen unterscheiden. Wenn zum Beispiel bei der Untersuchung eines neuen Medikaments diejenigen Patienten, die das Medikament bekommen haben, häufiger (oder früher, besser…) geheilt wurden, so kann das auch auf einen Zufall zurück zu führen sein und muss nicht unbeding am Medikament selbst liegen. Der Einfluss zufälliger Schwankungen sinkt dabei mit steigender Anzahl an Patienten, die an der Untersuchung teilgenommen haben. (Dieses Problem ist dabei unabhängig vom Placeboeffekt und tritt natürlich auch bei korrekt durchgeführten Blindstudien auf.)

Daher versucht man bei Statistiken die Irrtumswahrscheinlichkeit der durchgeführten Untersuchungen festzustellen. Meist kann man annehmen, dass die Wahrscheinlichkeit des Ergebnisses einer Statistik einer Normalverteilung entspricht. Damit lässt sich aus der Streuung der Ergebnisse oder theoretischen Überlegungen zur statistischen Verteilung relativ einfach abschätzen, wie hoch die Irrtumswahrscheinlichkeit der Statistik tatsächlich ist, das heißt wie hoch die Wahrscheinlichkeit ist, dass ein statistische erfasster Zusammenhang zwischen den erfassten Daten tatsächlich besteht (z.B. das Medikament tatsächlich wirkt).

In der Wissenschaft werden meist Ergebnisse mit einer Irrtumswahrscheinlichkeit von unter 5% erwartet. Trotzdem bleibt immer eine gewisse Wahrscheinlichkeit, dass die Aussage der Statistik falsch ist. Wenn die Irrtumswahrscheinlichkeit zu hoch ist, muss man unter Umständen mehr Daten erheben (das heißt zum Beispiel mehr Patienten untersuchen).

Weitere Informationen zur statistischen Signifikanz finden sich natürlich auch in der Wikipedia. Und für Freunde von schwarzem Humor und toten Katzen zur Abwechslung mal noch ein passendes Chat-Zitat.

Wenn die Prognose die Ergebnisse beeinflusst

Dieser Beitrag ist Teil der Serie „Traue keiner Statistik, die Du nicht selbst gefälscht hast“.

Gerade jetzt in der Wirtschaftskrise (auch wenn es im Moment gefühlt aufwärts geht) hört man gelegentlich die Befürchtung, dass schlechte Prognosen der Stimmung der Bevölkerung und letztlich auch der Wirtschaft schaden. Damit kommt ein ganz wichtiger Punkt zur Sprache: Viele Prognosen beeinflussen selbst den prognostizierten Sachverhalt. Das kann auf unterschiedliche Weise geschehen.

Selbsterfüllende Prophezeiung (self-fulfilling prophecy)

In vielen Fällen beeinflusst eine Prognose das tatsächliche Geschehen so, dass tendentiell die vorausgesagten Ereignisse eher eintreffen. Das kann auf individueller psychologischer Ebene (wenn jemand prognostiziert das etwas gegen eine Krankheit hilft, wirkt evtl. der Placeboeffekt) aber wie oben beschrieben auch auf Ebene weltweiter Wirtschaftssysteme passieren. Deshalb:

  1. Nie behaupten, dass die Bank bei der das eigene Geld liegt bald pleite ist, sonst ist sie ’s irgendwann tatsächlich…
  2. Erst Aktien kaufen, und anschließend prognostizieren, dass ihr Kurs steigt 😉 Ich sehe allerdings gerade, dass die Idee weder neu noch legal ist 🙁

Selbstzerstörende Prophezeiung (self-defeating prophecy)

Aber auch das Gegenteil einer selbsterfüllenden Prophezeiung ist möglich: Eine Prognose kann das Eintreffen ihrer Voraussagen verhindern. Relativ genaue Vorhersagen eines Unglücks können zum Beispiel bewirken, dass Maßnahmen eingeleitet werden, die das beschriebene Unglück unmöglich machen. Das Jahr 2000-Problem dürfte beispielsweise durch recht düstere Prognosen im Vorfeld deutlich abgemildert worden sein (wenn die schlimmsten Prognosen zugetroffen hätten, wären wir heute wahrscheinlich nicht mehr hier).

Fazit

Menschen die Prognosen anstellen müssen, sollten sich, wenn die Prognose hinreichend respektiert ist, auch Gedanken darüber machen, was ihre eigene (und ggf. ähnliche) Prognosen bewirkt. Damit haben sie auch ein wenig Macht und es stellt sich die Frage, ob man allzu negative Prognosen z.B. in wirtschaftlich schwierigen Zeiten überhaupt noch veröffentlichen sollte – ich habe allerdings Zweifel, dass der Verzicht auf eine Prognose als positives Signal aufgenommen wird. Und je mehr man über die Zukunft weiß, desto besser kann man sich darauf vorbereiten – normalerweiße.

bleibt noch zu sagen…

…das gelegentlich auch Statistiken ohne echte Prognosen Auswirkungen auf die Zukunft haben, die sie (die Statistik) eher nicht haben sollten, aber passt das hier ‚rein?

von xkcd.com (auf 's Bild klicken)
von xkcd.com (auf 's Bild klicken)

90% dafür und 90% dagegen – Suggestion bei Meinungsumfragen?

Dieser Beitrag ist Teil der Serie „Traue keiner Statistik, die Du nicht selbst gefälscht hast“.

Ein aktuelles Beispiel für die Auswirkungen suggestiver Fragestellungen auf die Ergebnisse von Meinungsumfragen hat die Zeit dargestellt (via lawblog): Durch unterschiedliche Fragestellung in Umfragen zum gleichen Thema ergaben sich höchst unterschiedliche Resultate: Als Fazit kam einmal heraus, dass 92% der Befragten für die Sperren sind, das andere Mal war eine ähnliche Größenordnung dagegen (tatsächlich war es sicher nicht nur Suggestion sondern es gab auch inhaltliche Unterschiede in der Fragestellung, die aber bei der Berichterstattung dann wiederum eher kurz gekommen sind).

Bei dem hier beobachteten Effekt spielt sicherlich eine große Rolle, dass die ursprünglichen Fragen oft nicht genau wiedergegeben sondern zur einfachen „Zustimmung“ oder „Ablehnung“ eines ganzen Themas zusammengefasst werden. Daraus resultiert dann im angegebenen Beispiel der Netzsperren, dass scheinbar völlig gegensätzliche Ergebnisse entstehen. (Der Infratest-Chef ist in einem Interview auf den oben angegebenen Fall auch noch einmal eingegangen.)

Trotzdem ist auch die eigentliche Suggestion bei Umfragen durchaus von Bedeutung. Ein unterhaltsames Extrembeispiel einer (überhaupt nicht um Repräsentativität noch um Seriosität bemühten) Umfrage findet sich in folgendem Video:

Die Befragten hier plappern jedenfalls irgendetwas nach, was sie augenscheinlich geistig noch nicht wirklich verarbeitet haben (und evtl. auch nie dazu kommen werden 😉 ). Auch wenn dieses Beispiel mit einer Infratest-Umfrage ziemlich sicher ziemlich wenig zu tun hat, so dürfte trotzdem auch bei jeder seriösen Umfrage ein gewisser Einfluss der Fragestellung auf die Meinung der Befragten möglich sein. Bei Themen, zu denen sich Menschen bisher noch gar keine Meinung gebildet hatten, wird dieser Effekt nach meiner Einschätzung verhältnismäßig deutlich ausfallen.

Fazit: Man sollte immer genau darauf achten, nach was eigentlich genau gefragt wurde und welche Informationen und Zusammenhänge in der Fragestellung noch versteckt waren beziehungsweise welche nicht. (Und natürlich: Wer hat die Umfrage durchgeführt und was wird über sie sonst noch gesagt?)

Dazu passt auch noch ein zweites, lustigeres, Video (auf Englisch):

The Colbert Report Mon – Thurs 11:30pm / 10:30c
The Colbert Repoll – Scott Rasmussen
www.colbertnation.com
Colbert Report Full Episodes Political Humor Health Care Reform

Traue keiner Statistik, die Du nicht selbst gefälscht hast!

Dieses Zitat dürfte jedem bekannt sein, meist wird es Winston Churchill zugeschrieben. Ob das korrekt ist, darf angezweifelt werden.

Ich will mich jedenfalls in der nächsten Zeit mit mehreren Beiträgen der Frage widmen, wo Statistiken und Prognosen an ihre Grenzen stoßen.

Wenn dieses Experiment funktioniert, wird es in diesem Blog wahrscheinlich öfters kleinere Serien von Beiträgen geben, die sich jeweils mit einem bestimmten Themenbereich beschäftigen.

Hier werden die Beiträge zum Thema „Traue keiner Statistik, die Du nicht selbst gefälscht hast“ verlinkt: