爲什麼在NLTK中沒有函數來計算文檔頻率（DF）？

Question

我正在尋找一個函數來獲取某個術語的DF（意思是在一個語料庫中有多少文檔包含某個單詞），但我似乎無法找到函數here。該頁面僅具有獲取tf, idf, and tf_idf值的功能。我只專注於DF。我複製下面的代碼從文檔，

matches = len([True for text in self._texts if term in text])

，但我不喜歡它給出結果。例如，如果我有一個字符串列表，並且正在查找Pete這個詞，它還包括名稱Peter，這不是我想要的。例如。

texts = [['the', 'boy', 'peter'],['pete','the', 'boy'],['peter','rabbit']]

所以我要尋找其出現兩次pete，但我上面顯示的代碼會告訴你，有三個皮特的，因爲它也算peter。我該如何解決這個問題？謝謝。

Answer 1

你的描述不正確。您發佈的表達式確實給出1，而不是3，當您在中搜索pete時：

>>> texts = [['the', 'boy', 'peter'],['pete','the', 'boy'],['peter','rabbit']] 
>>> len([True for text in texts if 'pete' in text]) 
1 

你可能會匹配部分單詞的唯一方法是，如果你的文本沒有標記化（即如果texts是字符串列表，而不是令牌列表列表）。

但上面的代碼很糟糕，它根本沒有理由建立一個列表。一個更好的（更傳統）的方法來計算點擊率是這樣的：

>>> sum(1 for text in texts if 'pete' in text)) 
1 

Answer 2

至於你提出的問題（爲什麼（...）？）：我不知道。

至於你的榜樣的解決方案（注意peter發生兩次及pete只有一次：

texts = [['the', 'boy', 'peter'],['pete','the', 'boy'],['peter','rabbit']] 
def flatten(l): 
    out = [] 
    for item in l: 
     if isinstance(item, (list, tuple)): 
      out.extend(flatten(item)) 
     else: 
      out.append(item) 
    return out 

flat = flatten(texts) 

len([c for c in flat if c in ['pete']]) 
len([c for c in flat if c in ['peter']]) 

比較兩個結果

編輯：

import collections 
def counts(listr, word): 
    total = [] 
    for i in range(len(texts)): 
     total.append(word in collections.Counter(listr[i])) 
    return(sum(total)) 

counts(texts,'peter') 
#2