information-theory

我想更好地理解壓縮算法（如zlib）的輸出如何與理論預期進行比較。所以我有幾個問題。（1）首先我想檢查一下，我是否正確計算了壓縮率。說我希望壓縮的1000對那些陣列，我可以做以下 # encode the array such that len(s) == 1000 bytes s = np.ones(1000, dtype='uint8').tostring() # compress u

0熱度

1回答

在Python中計算信息內容

我需要從兩個Python列表中計算信息內容。我明白，如果概率是從列表的直方圖計算出來的，我可以使用下面的公式。信息含量= sum_ij P（X_I，y_j）log_2（P（X_I，y_j）/（P（X_I）P（y_j））/ - 。sum_i P（Y_I）log_2 P（Y_I）是否有任何內置在Python API來計算信息內容感謝

0熱度

1回答

如何高效地計算R中稀疏矩陣的PPMI？

我會術語和情境（根據條款而─矩陣之間認爲R包之間text2vec，tm，quanteda，svs，qlcMatrix和wordspace會有一個函數來計算PPMI（正逐點互信息）長期（背景）共同發生） - 但顯然不是，所以我繼續前進，自己寫了一個。問題是，糖蜜很慢，可能是因爲我對稀疏矩陣不太好 - 而且我的tcms大約是10k * 20k，所以它們確實需要稀疏。據我瞭解，PMI = log(p(

0熱度

1回答

Fisher信息矩陣

可以爲任何矩陣計算Fisher Fisher信息矩陣嗎？我正在做我的工作在圖像處理領域的人臉識別。我如何計算我的輸入圖像上的Fisher信息矩陣（它確實是一個像素矩陣）？

-2熱度

1回答

信息理論測量：熵計算

我有一個由數千行組成的語料庫。爲了簡單起見，讓我們考慮語料庫爲： Today is a good day I hope the day is good today It's going to rain today Today I have to study 如何使用上面的語料庫計算熵？對熵的公式表示爲：這是我的理解至今：皮指其爲frequency(P)/(total num of ch

-1熱度

1回答

Python中用於實數數據集的信息內容

此問題是對previous question的補充。我需要計算來自兩個Python列表的信息內容。這些列表包含實數。我明白，如果概率是從列表的直方圖計算出來的，我可以使用下面的公式。 sum_ij p(x_i,y_j) log_2 (p(x_i,y_j)/(p(x_i)p(y_j))/- sum_i p(y_i) log_2 p(y_i) 是否有任何內置的Python API來計算信息內容？