比較兩個樣本的測試

Question

從擁有10種鳥類的種羣中抽取1000只鳥類，預期結果是每種類型的100只鳥類（這是爲了簡單起見;一般情況下每個分佈的概率Pi都是i = 1。 ..10）。

現在我已經編寫的計算機程序，以與每種類型以相同的概率（或概率Pi其中，i = 1 ... 10在一般情況下）

讓的說預期結果隨機抽樣1000號（讀鳥類）是E，在任何程序運行期間，觀察到的結果都是S.現在爲這個程序編寫一個單元測試用例，我進行了卡方檢驗來比較S和E，並斷言Chi-統計量的p值大於0.05。我已經在循環中聲明瞭這個n（比如100）次。

期望n個p值中的每一個都大於0.05是不正確的。因此，斷言「平均」n個p值大於0.05是一個好主意。

更一般地說，這裏設計測試的正確方法是什麼。

Answer 1

你對我的問題並不完全清楚，但我沒有足夠高的聲望發表評論澄清，所以我會盡我所能，把我的最好的一擊。你必須記住的是，p值是一個條件概率。具體來說，觀察結果的概率至少與我們所看到的零假設爲真的結果一樣極端。

在您的模擬中，您已強制null爲真（預期結果與您測試的聲明相同：每種類型有100只鳥）。在零假設下，p值具有均勻分佈，因此模擬的平均p值在理論上將爲0.5。