Bei der Durchführung eines Signifikanz- oder Hypothesentests können zwei Zahlen leicht verwechselt werden. Diese Zahlen sind leicht zu verwechseln, da beide Zahlen zwischen Null und Eins liegen und beide Wahrscheinlichkeiten sind. Eine Zahl wird als p-Wert der Teststatistik bezeichnet. Die andere interessierende Zahl ist das Signifikanzniveau oder Alpha. Wir werden diese beiden Wahrscheinlichkeiten untersuchen und den Unterschied zwischen ihnen bestimmen.
Die Zahl alpha ist der Schwellenwert, an dem wir p-Werte messen. Es zeigt uns, wie extrem die beobachteten Ergebnisse sein müssen, um die Nullhypothese eines Signifikanztests abzulehnen.
Der Wert von Alpha hängt mit dem Konfidenzniveau unseres Tests zusammen. In der folgenden Liste sind einige Vertrauensebenen mit den zugehörigen Alpha-Werten aufgeführt:
Obwohl in Theorie und Praxis viele Zahlen für Alpha verwendet werden können, ist die am häufigsten verwendete Zahl 0,05. Der Grund dafür ist sowohl, dass der Konsens zeigt, dass dieses Niveau in vielen Fällen angemessen ist, als auch, dass es historisch als Standard akzeptiert wurde. Es gibt jedoch viele Situationen, in denen ein kleinerer Alpha-Wert verwendet werden sollte. Es gibt keinen einzigen Alpha-Wert, der immer die statistische Signifikanz bestimmt.
Der Alpha-Wert gibt die Wahrscheinlichkeit eines Fehlers vom Typ I an. Fehler vom Typ I treten auf, wenn wir eine Nullhypothese ablehnen, die tatsächlich wahr ist. Auf lange Sicht wird daher für einen Test mit einem Signifikanzniveau von 0,05 = 1/20 eine echte Nullhypothese alle 20 Male zurückgewiesen.
Die andere Zahl, die Teil eines Signifikanztests ist, ist ein p-Wert. Ein p-Wert ist ebenfalls eine Wahrscheinlichkeit, stammt jedoch aus einer anderen Quelle als Alpha. Jede Teststatistik hat eine entsprechende Wahrscheinlichkeit oder einen entsprechenden p-Wert. Dieser Wert gibt die Wahrscheinlichkeit an, mit der die beobachtete Statistik nur zufällig aufgetreten ist, sofern die Nullhypothese zutrifft.
Da es verschiedene Teststatistiken gibt, gibt es verschiedene Möglichkeiten, einen p-Wert zu ermitteln. In einigen Fällen müssen wir die Wahrscheinlichkeitsverteilung der Bevölkerung kennen.
Der p-Wert der Teststatistik gibt an, wie extrem diese Statistik für unsere Beispieldaten ist. Je kleiner der p-Wert ist, desto unwahrscheinlicher ist die beobachtete Probe.
Um festzustellen, ob ein beobachtetes Ergebnis statistisch signifikant ist, vergleichen wir die Werte von Alpha und den p-Wert. Es gibt zwei Möglichkeiten, die sich ergeben:
Dies impliziert, dass es umso schwieriger ist, zu behaupten, dass ein Ergebnis statistisch signifikant ist, je kleiner der Wert von alpha ist. Andererseits ist es umso einfacher, zu behaupten, dass ein Ergebnis statistisch signifikant ist, je größer der Wert von Alpha ist. Damit verbunden ist jedoch die höhere Wahrscheinlichkeit, dass das, was wir beobachtet haben, dem Zufall zugeschrieben werden kann.