爲什麼我會得到負面的信息收益？

Question

[求助]

我的錯誤是，我沒有意識到如果所有的都是一種類型，熵是0。因此，如果全部都是正的，熵是0，並且如果全部都是負的，它也是零。如果等於正數和負數，熵將爲1。

這是沒有任何意義的，會得到負面的信息收益。

但是基於這個例子，我得到了負面的信息收益。

這裏是數據：

如果我計算的溼度屬性的信息增益，我得到這樣的：這裏

顯然我失去了一些東西。編輯： 澄清我如何理解它。

整個系統的熵定義爲：

在這種情況下則是：

而且每個屬性附加傷害的信息增益定義爲：

這對於溼度我估計到：

系統的熵 - （1/4）溼度正常的熵 - 溼度高

按照這個自由報辦公室計算器（3/4）熵：

或者是我對屬性信息增益公式的理解不正確？

Answer 1

首先，我假設你的S變量是EnjoySport。 （我認爲你可以更清楚地描述文本，順便說一句）。

所以熵的S是0.8113，但這是我同意的最後一部分。

熵的S給出正常爲0，因爲它是確定性的。

給出高小號的熵是0.91829583405448945，但你需要乘上0.75，因爲這是正常的概率。所以這給了你0.68872187554086706。

與預期的不同之處在於非負數。

---

注意，信息增益爲expected difference in Entropy，並期望需要考慮的條件概率事件。