用於確定觀測結果的統計顯著性的檢驗。可能發生兩種主要型別的錯誤
1. 當在零假設方面獲得假陰性結果,即獲得假陽性測量值時,會發生 I 型錯誤。
2. 當在零假設方面獲得假陽性結果,即獲得假陰性測量值時,會發生 II 型錯誤。
統計檢驗對於真統計量呈陽性的機率有時稱為檢驗的靈敏度,而檢驗對於負統計量呈陰性的機率有時稱為特異度。下表總結了在實際情況和觀察到的檢驗結果的各種組合下給出的名稱。
當同時進行多個統計檢驗時,會使用統計檢驗的多重比較校正。例如,假設您正在測量八種不同蜥蜴物種的腿長,並想檢視任意一對的均值是否不同。現在,存在 成對比較 可能,因此即使所有總體均值都相等,也很可能至少有一對樣本均值在 5% 水平上存在顯著差異。因此,0.05 的 顯著性水平 適用於每個單獨的比較,但不適用於所有比較的集合。
為了避免大量虛假的陽性結果,因此需要降低 顯著性水平,以考慮到執行的比較次數。這就是多重比較的校正。有很多不同的方法可以做到這一點。最簡單也是最保守的方法是 邦弗朗尼校正。在實踐中,更多人更願意接受假陽性(錯誤地拒絕 零假設)而不是假陰性(錯誤地接受 零假設),因此通常使用不太保守的比較方法。