計算概率分佈

Question

我有一個簡單的（可能是愚蠢的）問題。我想計算兩個文件中的Kullback-Leibler散度。它要求每個文件的概率分佈。

我不知道如何計算每個文檔的概率。任何簡單的答案與外行的例子將不勝感激。

比方說，我們必須遵循兩個文件：

1 - cross validated answers are good 
2 - simply validated answers are nice 

（文件的措辭只是喇嘛喇嘛給你一個例子）

如何計算這些文件的概率？

比方說，我們再增加一個文件：

3 - simply cross is not good answer 

如果再加上另外一個文件然後它將如何影響概率分佈？

感謝

Answer 1

如果您添加文檔的文檔的集合，除非該文件是完全一樣的文檔集合，在您的發行詞或詞的分佈將改變以適應新添加話。問題就出現了：「這真的是你想要做的第三份文件嗎？」

Kullback-Leibler divergence是兩個分佈的發散度量。你們兩個分佈是什麼？

如果您的分佈是在文檔中隨機選擇某個詞的概率，那麼您有概率值的空間就是組成文檔的詞的集合。對於您的前兩個文檔（我認爲這是您的整個集合），您可以構建7個詞的詞空間。用於字概率在從文件隨機被選擇爲單詞的袋是：

  doc 1  doc 2   doc 3 (lem) 
answers  0.2  0.2    0.0  0.2 
are   0.2  0.2    0.0  0.2 
cross  0.2  0.0    .33  0.2 
good   0.2  0.0    .33  0.2 
nice   0.0  0.2    0.0  0.0 
simply  0.0  0.2    .33  0.2 
validated 0.2  0.2    0.0  0.0 

[這被計算爲術語頻率由原稿長度分割。請注意，新文檔的單詞形式與文檔1和文檔2中的單詞不同。（lem）列將是概率，如果您阻止或詞彙化爲相同的詞對（是/是）和（答案/答案）。]

將第三份文件引入場景中，您可能想要對Kullback-Liebler Divergence進行的一項典型活動是比較新文件或文件集合與已知文件或文件集合。

計算所述的Kullback-Liebler發散D(P||Q)產生值標誌着如何真實分佈P通過使用替代分佈Q捕獲。因此，Q1可能是文檔1中詞的分佈，Q2可能是文檔2中詞的分佈。計算KL分歧P是新文檔（文檔3）中文字的分佈，您可以得到新文檔與文檔1不同，新文檔與文檔2有多不同。使用這些信息，您可以說新文檔與已知文檔/集合有多相似。