Tokenizing一個文件

Question

在我的CS課程中，我已經完成了一項任務，可以讀取莎士比亞的劇本和十四行詩的整個語料庫，並打印特定單詞出現的次數。任何人都可以幫助我讓腳離開這個地方。這是我得到的逐步改進的第一級。

Level 0 定義一個標記文件的函數，返回一個標記數組。循環訪問數組，每行打印一個令牌。例如，您的專業主要可能是這個樣子：

def main(): 
    tokens = readTokens("shakespeare.txt") 
    for i in range(0,len(tokens),1): 
     print(tokens[i]) 

我想我真正的問題是我怎麼令牌化一個文件，然後讀入一個數組蟒蛇？對不起，如果這種問題不是這個網站的目的，我只是尋求一些幫助。謝謝。

Answer 1

goodletters = set("abcdefghijklmnopqrstuvwxyz' \t") 

def tokenize_file(fname): 
    tokens = [] 
    with open(fname) as inf: 
     for line in inf: 
      clean = ''.join(ch for ch in line.lower() if ch in goodletters) 
      tokens.extend(clean.split()) 
    return tokens 

爲了清晰起見，用這種方式寫出來;在生產中，我會使用inf.read().translate()，但是對於Python 2.x和3.x，這種設置顯着不同，我不希望更加混淆。

Answer 2

from collections import Counter 

def readTokens(file): 
    tokens = Counter() 
    with open(file) as f: 
     for line in f: 
      tokens += Counter(word.strip() for word in line.split()) 
      # if you're trying to count "Won't", "won't", and "won't!" 
      # all together, do this instead: 
      ## tokens += Counter(word.strip('"!?,.;:').casefold() for word in line.split()) 
    return tokens 

def main(): 
    tokens = readTokens('shakespeare.txt') 
    for token in tokens: 
     print(token) 
    print("The most commonly used word is {}".format(max(tokens.items(), key= 
                lambda x: x[1])))