決策樹 - 節點的熵可以爲零嗎？

Question

信息增益的公式由下式給出，

Information Gain = entropy(parent) – [average entropy(children)] 

熵可以爲零，這意味着在一些情況下：

entropy(parent) == [average entropy(children)] 

Answer 1

「當H(S) = 0，集合S是完全分類（即，所有S中的元素屬於同一類）「。 - https://en.wikipedia.org/wiki/ID3_algorithm

H(S) =熵;）

Answer 2

Guiem得到了正確的答案，這是熵爲零當一組中的所有元素屬於同一類。但是關於你的問題，還有兩點值得注意：

首先，在實現決策樹時，如果entropy(parent)爲零，沒有理由計算children的信息增益，因爲數據已經完美分類（即，你在樹的葉節點）。

其次，entropy(parent) == [average entropy(children)]的情況不一定只發生在parent的熵爲零時。當parent具有非零熵（即，來自children的分裂的信息增益爲零）時也會發生，這表明在children上的分裂不會改進分類性能。