信息增益的負值

我正在實施C4.5，並在我的計算中得到（對於某些示例）信息增益的負值。我讀了Why am I getting a negative information gain，但我的發現看起來不一樣。我推杆我的計算脫穎而出，我也得到了相同的結果如下：信息增益的負值

我到底做錯了什麼？

我試圖重新計算它的，也是我得到負值是在下面的圖片： Newest calculations with data set 80分的值，所以我得到11 < = 80和3objects> 80

您使用的熵的公式是什麼？ – slcott

熵公式： - SUM（概率* LOG（BASE 2，概率）） – user3785803

你乘以你的結果對於熵由-1？

$$ H（X）= - \ sum_ {I = 1}^N {\ mathrm {P}（X_I）\ log_b \ mathrm {P}（X_I）} $$

唉.. 。使用mathjax時遇到問題，go here for definition

2017-02-09 20:03:31 slcott

是的，我將熵乘以-1，例如。公式= - （N3 * LOG（N3; 2）+ O3 * LOG（O3; 2）） – user3785803

回答