Google Web Optimizer（A/B測試）爲什麼沒有明確的贏家？

Question

我已經previously asked需要多長時間爲一個成功的組合出現在谷歌的網站優化，但現在我的A/B測試期間，還有一個奇怪的問題：

對於過去兩天有谷歌宣佈，有一個「高信度獲勝者」，它有一個98.5％擊敗原始變化的機會由27.4％。大！

我決定離開它運行，使絕對肯定的，但奇怪的事情發生了：今天谷歌是說，他們「還沒有收集到足夠的數據來顯示任何顯著的結果」（如圖所示下面）。當然，數字已經改變略微，但他們仍然非常高：96.6％擊敗原來的機會22％。

所以，現在爲什麼谷歌不那麼肯定？

它從擁有一個統計上顯着的「高信度」獲勝者，到沒有足夠的數據來計算一個數據？我的數字太小了，Google絕對沒有把握嗎？

感謝您的任何見解！

Answer 1

怎麼還有從具有 統計顯著「高 信心」的贏家，不具有足夠的 的數據來計算一個到哪裏去了？

與所有統計測試還有什麼叫做p-value，它是由隨機機會獲得觀察結果的概率看起來，假設之間存在什麼被測試沒有什麼區別。所以當你運行測試時，你需要一個小的p值，以便你對結果有信心。

因此，與GWO必須有1.5％和3.4％之間的p值（我猜是2.5％，至少在這種情況下，它可能是它取決於組合的數量）

所以當（100％ - 有機會擊敗％）> p值時，GWO會說它沒有收集到足夠的信息，並且如果組合有（100％ - 有機會擊敗％）p值，那麼贏家是找到。很明顯，如果這條線剛好交叉，那麼它可以輕鬆地返回更多的數據。

總結一下，你不應該經常檢查結果，你應該設置一個測試，然後忽略很長一段時間然後檢查結果。

我的號碼對於Google來說太小了嗎 是絕對可信的嗎？

沒有