瞭解信息內容的概念

Question

我不學習計算機科學，但我有興趣瞭解信息內容的概念。

我看到這兩個例句：

a) On July 5th, it was over 100°F 
b) On July 5th, it was 98°F 

它說的那句話二）具有較高的信息含量，因爲句子一）有隻比高於和句子b減少/可能性比較大）的是無限的可能性。

我會同意b）有更高的信息含量，但我不明白解釋。

我會說b）有更高的信息量，因爲它告訴你究竟是什麼溫度。

但我想我的直覺上的理解是不正確的。如果沒有解釋的餘地​​，我會說一條消息具有很高的信息內容。

a) Tomorrow, someone will visit me. 
b) Tomorrow, my aunt will visit me. 

我會自發地說，b）更具信息性，因爲它告訴你究竟是誰來訪問。這是正確的嗎？

形成我的非科學理解，高信息含量會很好，因爲它讓你毫無疑問。但我認爲在信息理論中，高信息量是不好的，因爲它意味着消息需要大量的編碼信息，而信息並不是很好，而只是需要傳輸的東西。這是一個好方法嗎？

Answer 1

您的直覺是正確的：您需要平均詢問以確定細節的附加二進制問題的數量本質上就是信息內容。

但是，沒有固有的好或壞信息論，除非你有一個目標。如果你的目標是壓縮信號，信息理論說可達到的極限是由信息內容給出的。所以在這個意義上，低信息內容信號更壓縮（這可能是一件好事，如果這是你在找什麼。）

對於通信信道，你想最大化你的信道容量的使用。如果您沒有將頻道用於最大容量，則信息內容將不會盡可能高。

用於進行糾錯，你想有冗餘，這具有相同的信息內容，但更大的位表示。每個符號的最小信息內容意味着沒有糾錯，所以這是不好的。