比較兩個網頁（A/B測試） - 兩個樣本部分測試

Question

我的網頁有兩個變化，但我正在監視一堆變量。所以我能夠從我的網站監控實驗中提取的內容如下：

Original solution: Visitors, body link click-visitors, most popular click-visitors, share-visitors. 
Solution with some change: Visitors, body link click-visitors, most popular click-visitors, share-visitors. 

我在想簡單的2樣本部分測試。採取每個監控變量和計算部分測試以獲得原始和已更改的解決方案。

我不知道它是否告訴了我關於整體結果的一些信息 - 如果原始解決方案比具有某種更改的解決方案更好。

有什麼更好的東西可以用於這個目的。我會很感激你的任何建議。

Answer 1

聽起來像你混淆了兩件事：感興趣的業務度量和統計顯着性檢驗。前者是你想要衡量的一些商業策略。這可能是銷售額，轉化率，訂閱率或許多其他因素。見例如this paper對使用​​錯誤度量標準的風險進行了很好的討論。統計顯着性是一個測試，告訴你到目前爲止您所看到的測量數量是否足以證實兩種體驗之間的差異不太可能是隨機的。見例如this paper進行了很好的討論。