點態文本

Question

互信息，我不知道怎麼一會計算文本分類的逐點互信息。更確切地說，我想分類推文。我有一個推文數據集（有註釋），並且我有一個屬於該類別的單詞類別的詞典。考慮到這些信息，如何計算每條推文的每個類別的PMI，將推文分類到這些類別之一。

Answer 1

PMI是一個功能（在你的情況下，一個字）和類（類別）之間的關聯的度量，而不是一個文件（鳴叫）和類別之間。式可以用Wikipedia：

    P(x, y) 
pmi(x ,y) = log ------------ 
        P(x)P(y) 

在該式中，X是隨機變量，它的模型的單詞的發生，並Y模型一類的發生。對於給定的字x和給定類y，您可以使用PMI來決定是否一個特點是內容豐富與否，你可以在此基礎上做特徵選擇。功能較少通常可以提高分類算法的性能，並大大加快分類算法的速度。然而，分類步驟是分開的 - PMI只能幫助您選擇更好的特徵以供您學習算法。

---

編輯： 有一件事我沒有在原崗位提的是，PMI對詞頻敏感。讓我們重寫公式

    P(x, y)    P(x|y) 
pmi(x ,y) = log ------------ = log ------------ 
        P(x)P(y)    P(x) 

當x和y完全相關，P(x|y) = P(y|x) = 1，所以pmi(x,y) = 1/P(x)。較少見的x -es（字）將具有更高的PMI評分較頻繁x -es，即使雙方都完全符合y相關。