Google實驗表現優於還是不？

Question

今天我在Google Analytics中遇到了一些奇怪的事情。我的一個實驗以94.7％的表現勝過原始表現的可能性和52％的表現勝出，並且仍然處於「沒有找到勝利者」的狀態。

有人遇到過這種情況嗎？爲什麼這樣？

Answer 1

這意味着雖然您確實擁有比您的控制更好的版本，但他們沒有獲得足夠的勝利以達到95％的效果。換句話說，你有一個勝利者，但它不具有統計意義，或者這個測試的結果是隨機的。

沒有看到展示次數和轉化次數，它很難更具體。我的猜測是，這個測試的轉換率非常低，獲獎版本的改進量非常小，或者兩者兼而有之。

對於如何繼續，您有幾個選項。

1. 僅使用控件和最強變體重複測試。有可能通過只用兩個版本重複測試，你的測試將達到顯着性。
2. 實現最強大的變體並找到其他測試。這可能是我選擇的。理想情況下，您希望識別對轉換率影響最大的頁面元素。

無論哪種方式，我會結束當前的測試。在這一點上，讓它跑得更長，沒有什麼可以獲得的。