計算列表第一列的唯一字的總數

Question

我有一個文件包含許多波斯語句子。每行包含一個句子，然後是一個「標籤」，然後是一個詞，再次是一個「標籤」，然後是一個英文單詞。我必須知道句子中唯一字的數量（標籤後面的單詞不應該在計算中）。爲此，我將文件更改爲列表，所以我有一個包含大量行的列表，每行包含三個索引;句子，波斯詞，英語單詞。現在我可以達到這些句子。問題是，我寫的代碼分別返回每行獨特字的數量。例如，如果文件有100行，它會返回100個數字，每個數字都在一個新行中。但我想要所有數字的總和，並且只有一個數字表示唯一字的總數。我如何更改代碼？

from hazm import* 

def WordsProbs (file): 
    with open (file, encoding = "utf-8") as f1: 
     normalizer = Normalizer() 
     for line in f1: 
     tmp = line.strip().split("\t") 
     tmp[0] = normalizer.normalize(tmp[0]) 
     corpus.append(tmp) 
    for row in corpus: 
     UniqueWords = len(set(row[0].split())) 
     print (UniqueWords) 

的樣品數據：

بادبارشبرفوزشباد，کولاکیخبندانسطح風

Answer 1

假設TMP [0]包含來自每行中的句子，在句子的各個單詞可以在不建立一個語料庫進行計數。

from hazm import* 

def WordsProbs (file): 
    words = set() 
    with open (file, encoding = "utf-8") as f1: 
     normalizer = Normalizer() 
     for line in f1: 
      tmp = line.strip().split("\t") 
      words.update(set(normalizer.normalize(tmp[0].split()))) 
    print(len(words), "unique words") 

我無法測試它，因爲我的機器上，英文單詞「風」剪切和粘貼示例數據後，顯示出來的第一列。

Answer 2

有一個簡單的解決方案。正如你所說，你有行列表。所以下面的代碼應該得到你想要的

sample_data = """This is One sentence word1 word2 
This is Second sentence word1 word2""" 
lines = sample_data.split("\n") 
word_list = [] 
for line in lines: 
    line = line.split("\t")[0] 
    word_list.extend(line.split(" ")) 
print len(set(word_list)) 

Answer 3

你是按順序拆分後算話的人數使用collections.Counter：

from collections import Counter 
from itertools import chain 

def WordsProbs (file_name): 
    with open (file_name, encoding = "utf-8") as f1: 
     all_words = chain.from_iterable(word_tokenizer(line.split(None, 1)[0]) for line in f1) 
     return Counter(all_words) 

的chain.from_iterable意志鏈分裂詞放在一起作爲一個整體迭代器，以便Counter可以從所有單詞創建一個計數器對象。

如果你只是希望所有的獨特單詞數len(WordsProbs(file_name))會給你，但另一種方法是使用上，我們與cahin.from_iterable創建的迭代器設置：

def WordsProbs (file_name): 
    with open (file_name, encoding = "utf-8") as f1: 
     all_words = chain.from_iterable(word_tokenizer(line.split(None, 1)[0]) for line in f1) 
     return len(set(all_words)) 

如果你想要的號碼每行的唯一字：

def WordsProbs (file_name): 
    with open (file_name, encoding = "utf-8") as f1: 
     each_line_numbers = [len(set(word_tokenizer(line.split(None, 1)[0]))) for line in f1) 
     return each_line_numbers