熵在這種情況下意味着什麼？

Question

我正在閱讀一個圖像分割紙，其中使用範例「信號分離」來處理問題，信號（在這種情況下，圖像）由多個信號（圖像中的對象）組成作爲噪聲，其任務是分離出信號（分割圖像）。

該算法的輸出是一個矩陣，表示的圖像的分割成M個分量。 T是圖像中像素的總數，是像素j處的源分量（/信號/對象）i的值。

在我正在閱讀的論文中，作者希望選擇一個分量m 匹配一定的平滑度和熵準則。但我不明白在這種情況下熵是什麼。

熵被定義爲以下：

他們說，「」 是與直方圖的倉相關聯的概率「」

的目標成分是腫瘤並且該文件寫道：「與」幾乎「恆定值的腫瘤相關組件預計具有最低的熵值。」

但在這種情況下，低熵意味着什麼？每個bin代表什麼？低熵向量是什麼樣的？

link to paper

Answer 1

他們正在談論Shannon's熵。觀察熵的一種方法是將其與關於與給定概率分佈相關聯的事件的不確定性量相關聯。熵可以用來衡量'混亂'。隨着無序水平的提高，熵增加並且事件變得不可預測。

回到在紙上的熵的定義：

H（S_M）是隨機變量S_M的熵。這裏是結果s_m發生的概率。 m是所有可能的結果。使用灰度直方圖計算概率密度p_n，也就是總和從1到256的原因。分箱表示可能的狀態。

那麼這是什麼意思？在圖像處理中，可以使用熵來對紋理進行分類，某些紋理可能具有特定的熵，因爲某些圖案以大致特定的方式重複其自身。在本文中，低熵（H（s_m））表示組分m內的低無序性，低方差。熵低的組分比熵高的組分更均勻，它們與平滑度準則結合使用來分類

查看熵的另一種方法是將其視爲信息量的度量，具有相對「低」熵的向量是信息量相對較低的向量，可能是[0 1 0 1 1 1 0]，具有相對'高'熵的向量是信息含量相對較高的向量，它可能是[0 242 124 222 149 13]

這是一個引人入勝且複雜的主題，實在無法概括在一篇文章中。