什麼時候使用Statistics＃compareTo（Statistics，double）來比較統計信息是否合理？

Question

我想知道在哪種情況下，使用confidence比較Statistics感興趣，這要歸功於方法Statistics#compareTo(Statistics, double)。用這種方法比較兩種方法的性能是否有意義？這種方法中confidence的確切目的/含義是什麼？

Answer 1

正如javadoc所述，它的值爲confidence interval。

粗略地說，假設您有兩種方法運行時間的兩種分佈（又稱基準運行）。默認情況下，JMH假定它是具有一些參數（均值和方差）的正態分佈。但分佈不是數字：你不能比較一個平均值和另一個平均值，並且說「嘿，第一個平均值小於第二個平均值，因此第一個平均值更好！」。首先，你應該證明它們不屬於同一分佈（即使它們（樣本，而不是分佈）有不同的意思），否則這種比較是沒有意義的。對於這樣的證明，特別使用statistical test。但只要測試是處理樣本，而不是實際的分佈，測試不能說「兩個數據集不屬於同一分佈」，測試只能說「兩個數據集不屬於同一分佈99％的概率「。這99％（或任何其他）實際上就是你所要求的信心。

因此，基本上，s1.compareTo(s2, 0.9) == 1意味着S1（第一基準運行時間）具有較小的平均運行時間比第二個用90％的概率（並用10％有可能是任何其他結果，不僅相反）。