何時需要多重比較校正？

Question

我在假設檢驗方面不是很有經驗，並且在發生多重比較問題時有理解問題？

正如我理解的多重比較當試圖從單個數據庫執行多個統計測試時發生問題。因此，爲了得出正確的結論，應該調整顯着性水平。 （對嗎？）

在我的情況下，我有一個數據庫，並對數據庫的不同部分執行多個t檢驗。換句話說，每個測試的數據都與另一個測試完全不同，而所有數據都屬於一個數據庫。所以，原則上多重比較問題不應該存在於我的測試中，是不是？

在此先感謝。

Answer 1

多假設檢驗試圖同時對您的變量的所有進行假設檢驗。你會拒絕你的空，當一些這些假設對單個變量失敗，反對所有你的假設（一個非常不可能的事件）的失敗。

當您對所有變量使用95％置信區間進行多重測試時，您實際上是針對的第二個以上方案進行測試，所有您的假設失敗。這不是你想要的多重測試。因此，您的每個變量的置信區間應稍微放鬆，以適應您的假設只有某些失敗的情況。

因此它實際上取決於你的目標：

• 如果您是對涉及多個變量（你想得出一個總的結論）的情景測試，然後是的，這是多重檢驗和置信區間爲每變量應該調整。
• 如果您想要對每個變量進行測試（您想爲每個變量繪製一個結論），那麼您的每個測試都是單個變量測試，您無需進行調整。