熵和信息關係

在壓縮和信息理論方面，信源的熵是來自信源的符號可以傳達的平均信息量（以比特爲單位）。非正式地說，如果我們確定一個事件的結果，那麼熵就更少了。熵和信息關係

J. Principe, D. Xu, and J. Fisher, 「Information theoretic learning,」 in Unsupervised Adaptive Filtering, S. Haykin, Ed. New York: Wiley, 2000, vol. I, pp. 265–319.

熵（Shannon和Renyis）已經通過最小化誤差的熵作爲目標函數，而不是均方誤差在學習中使用。

我的問題是

什麼是誤差最小化熵的原理是什麼？當熵最大時，我們可以說什麼信息？謝謝

來源

2014-07-26 Ria George

家庭作業？ –

不，這與家庭作業無關。我在論文中遇到了參數估計的熵 - Deniz Erdogmus，IEEE成員和Jose C. Principe，用於非線性自適應系統的監督訓練的誤差 - 熵最小化算法 J.Pirecipe，D.Xu和J.Fisher，「信息理論學習」，在無監督自適應濾波中，S.Haykin，Ed。紐約：威利，2000年，第一卷。 I，265-319頁。 –

問題是基於這些論文，我會更新我的問題，並請求在更新適當之後，好心刪除否定的投票。 –

這是CS Stack Overflow更好的貼合，可能的，但只要我們有一臺計算機科學的標籤，我不願意downvote它。（注：不CS Theory Stack Overflow，這對研究級的討論，這，這不是他們會downvote，並立即關閉。）

無論如何，直觀的答案是正如你所說幾乎一模一樣：當你最小化的熵某些事情，你正在增加預測它的能力。如果你最小化模型和結果之間的誤差的熵，你就是說你正在增加模型的預測能力。

爲了使數學上的直覺更加銳利化，請繼續研究諸如期望最大化算法之類的內容，直至將其內化爲止。如果你發現EM很難，那麼在EM有意義之前，繼續研究貝葉斯概率等事情。

來源

2014-07-27 22:47:14 Novak

熵最小化=信息最小化還是反向關係？根據信息，當我們說Shannons熵與信息有關時，我們是指信息內容或只是信息。你能解釋這部分（Q1）最大化和最小化信息熵的效果嗎？混淆了它的信息，還是與熵有關的互信息或信息內容。 –

我不能合理的解釋這些東西的空間比原來的文件要少，不。 – Novak

請您儘可能回答熵增加=信息增加的疑問如果我的這些信息指的是我們所說的信息內容或是什麼樣的信息。然後我會跟隨你的線索和學習。但是，這些答案不能直接在熵增=信息增加或減少的情況下找到。 –

熵和信息關係

回答

相關問題