結果已知的條件熵

Question

我有一個關於熵和信息流的問題。假設X = {-1,1};這意味着它可以是-1或1，和Y的以下分配：

Y := X * X 

我的問題是，Y的值，分配後，將始終是1，如果X = -1，則Y = 1，如果X = 1，那麼Y = 1。知道這一點，我仍然可以假設條件熵H（X/Y）= 0，因爲知道X總會告訴你Y的值。另一方面，條件熵H（Y/X）= 1.0，因爲知道Y不會給我X的價值。我是否正朝着正確的方向思考？請幫助

Answer 1

你是部分正確的，儘管看起來你已經在你的符號和你的定義中相當「交換」了。

H(X|Y) is entropy of X given Y rather than entropy of Y given X. 

此外，你應該嘗試更仔細地看看這裏的情況。既然X和Y之間有非常明確的關係，那就意味着Y = f（X）。在這種情況下，就像你所說的那樣，條件熵是總是 0（但是你被換成了你的符號）。因此，它應該是

H(Y|X) = 0 

在另一方面，如果你有Y，你完全不知道什麼是X和兩個-1和1有等於概率線索。所以在這種情況下，

H(X|Y) = 1