分裂測試的意義測試，分裂測試多於2次

Question

您應該使用多於兩個實驗的百分比測量來使用何種顯着性測試？

例如，

Version | Clicks | Impressions 
A  | 5  | 1,763 
B  | 4  | 1,672 
C  | 2  | 1,689 

如何確定的，我們是verison一個真正優於其他兩個？

Answer 1

在過去，我個人做過頂部和底部之間的成對G檢驗，乘以n的模糊因子的置信度選擇2，以說明有n個選擇可能具有的可能配對的事實是最極端的。理論上這是過於保守的，但它爲我工作。

請參閱http://elem.com/~btilly/effective-ab-testing/瞭解更多信息。