Das Testen von Hypothesen ist ein weit verbreitetes wissenschaftliches Verfahren, das in statistischen und sozialwissenschaftlichen Disziplinen angewendet wird. Bei der Untersuchung der Statistik wird ein statistisch signifikantes Ergebnis (oder eines mit statistischer Signifikanz) in einem Hypothesentest erzielt, wenn der p-Wert kleiner als das definierte Signifikanzniveau ist. Der p-Wert ist die Wahrscheinlichkeit, dass eine Teststatistik oder ein Probenergebnis so extrem oder extremer als das in der Studie beobachtete ist, während das Signifikanzniveau oder Alpha einem Forscher angibt, wie extrem die Ergebnisse sein müssen, um die Nullhypothese abzulehnen. Mit anderen Worten, wenn der p-Wert gleich oder kleiner als das definierte Signifikanzniveau ist (typischerweise mit α bezeichnet), kann der Forscher sicher annehmen, dass die beobachteten Daten mit der Annahme inkonsistent sind, dass die Nullhypothese wahr ist, was bedeutet, dass Eine Nullhypothese oder die Annahme, dass keine Beziehung zwischen den getesteten Variablen besteht, kann zurückgewiesen werden.
Durch Ablehnen oder Widerlegen der Nullhypothese gelangt ein Forscher zu dem Schluss, dass es eine wissenschaftliche Grundlage für die Annahme gibt, dass eine Beziehung zwischen den Variablen besteht und dass die Ergebnisse nicht auf Stichprobenfehler oder Zufälle zurückzuführen sind. Während die Zurückweisung der Nullhypothese ein zentrales Ziel in den meisten wissenschaftlichen Studien ist, ist zu beachten, dass die Zurückweisung der Nullhypothese nicht dem Beweis der alternativen Hypothese des Forschers entspricht.
Das Konzept der statistischen Signifikanz ist grundlegend für das Testen von Hypothesen. In einer Studie, bei der eine Zufallsstichprobe aus einer größeren Population gezogen wird, um ein Ergebnis zu belegen, das auf die gesamte Population angewendet werden kann, besteht das konstante Potenzial, dass die Studiendaten auf Stichprobenfehler oder einfache Zufälle zurückzuführen sind oder Zufall. Durch die Bestimmung eines Signifikanzniveaus und das Testen des p-Werts dagegen kann ein Forscher die Nullhypothese mit Zuversicht bestätigen oder ablehnen. Das Signifikanzniveau ist im einfachsten Sinne die Schwellenwahrscheinlichkeit, die Nullhypothese fälschlicherweise abzulehnen, wenn sie tatsächlich wahr ist. Dies wird auch als Fehlerrate des Typs I bezeichnet. Das Signifikanzniveau oder Alpha ist daher mit dem allgemeinen Konfidenzniveau des Tests verbunden, was bedeutet, dass das Vertrauen in den Test umso größer ist, je höher der Wert von Alpha ist.
Ein Fehler vom Typ I oder ein Fehler der ersten Art tritt auf, wenn die Nullhypothese zurückgewiesen wird, wenn sie in Wirklichkeit wahr ist. Mit anderen Worten, ein Fehler vom Typ I ist vergleichbar mit einem falsch positiven. Fehler vom Typ I werden durch Festlegen eines geeigneten Signifikanzniveaus kontrolliert. Best Practice beim Testen wissenschaftlicher Hypothesen erfordert die Auswahl eines Signifikanzniveaus, bevor die Datenerfassung überhaupt beginnt. Das häufigste Signifikanzniveau ist 0,05 (oder 5%), was bedeutet, dass die Wahrscheinlichkeit, dass der Test einen Fehler vom Typ I erleidet, bei 5% liegt, wenn eine echte Nullhypothese zurückgewiesen wird. Dieses Signifikanzniveau entspricht umgekehrt einem Konfidenzniveau von 95%, was bedeutet, dass bei einer Reihe von Hypothesentests 95% nicht zu einem Fehler vom Typ I führen.