Optimizely可靠性

我們開始使用Optimizely，我們對結果感到滿意，所以我們開始創建積極的活動。但是後來我們意識到有什麼不對，我希望得到任何幫助。Optimizely可靠性

我們在主頁上測試（例如）而不是藍色CTA，我們使用綠色CTA創建了一個變體，我們發現變體的轉換增加了35％。因此，我們切換了東西，並將綠色CTA設置爲控件，將藍色CTA設置爲變體。如果確實綠色CTA更好，我們現在應該看到藍色CTA變化帶來的轉換率下降35％。取而代之的是，這種變化帶來了更高的轉化率。

我不能確定我們做錯了什麼，但總的來說，所有變化的成功率都高於控制，但如果我們改變這些變化並將變化設置爲控制，結果不會不能切換。

來源

2016-12-08 Haim

聽起來像什麼東西了。如果一切都被控制，那不應該發生。你在看多少訪客/點擊（可能太小）？你的結果是否意義重大？有沒有任何交通模式的變化（也許不同的傳入流量喜歡不同的治療 - 例如，FB喜歡藍色的CTA，但谷歌喜歡綠色）？ – TomFuertes

@TomFuertes這正是我的問題，流量來源是相同的，樣本量是相同的，但由於某些原因，我們設置爲變量贏得 – Haim

你如何測量轉換？通過多種方式衡量衡量效果通常是一種很好的做法 - 例如，對於CTA實驗，我會衡量點擊次數，登錄鏈接重定向的頁面，有效的表單提交等。擴展您對數據的看法並查看變化會影響用戶體驗的其他部分始終是一個好主意。

來源

2016-12-09 17:45:33 Zsolt

嘗試：結果頁上應用不同的細分，以確定每個變化我建議設置一個90％的統計顯着性如果你在2個獨立的檢驗，也許你沒有讓它在合適的時候我通常喜歡以改善讓他們在一週內避免季節性，

來源

2016-12-09 17:57:43

您是否對已經運行的實驗進行了這些調整？你應該記住，一旦你開始了一個實驗，用戶就會被分開，所以在實驗運行之後或之後進行調整，比如切換誰是控制者，不會讓你開始新鮮。如果您正在進行調整，那麼您需要創建一個新的實驗。

來源

2016-12-12 14:59:51 user6810289

不，我創建了一個新的實驗 – Haim

Optimizely可靠性

回答

相關問題