TfidfVectorizer適用於不適合內存的語料庫

Question

我想根據不適合內存的語料庫構建tf-idf模型。我讀的教程，但胼似乎一下子被加載：

from sklearn.feature_extraction.text import TfidfVectorizer 
corpus = ["doc1", "doc2", "doc3"] 
vectorizer = TfidfVectorizer(min_df=1) 
vectorizer.fit(corpus) 

我不知道如果我可以通過一個文件加載到內存中的一個而不是加載所有的人。

Answer 1

是的，你可以讓你的語料庫成爲迭代器。例如，如果您的文檔駐留在光盤上，則可以定義一個迭代器，該文件將文件名列表作爲參數，並逐個返回文檔，而無需將所有內容一次性加載到內存中。

from sklearn.feature_extraction.text import TfidfVectorizer 

def make_corpus(doc_files): 
    for doc in doc_files: 
     yield load_doc_from_file(doc) #load_doc_from_file is a custom function for loading a doc from file 

file_list = ... # list of files you want to load 
corpus = make_corpus(file_list) 
vectorizer = TfidfVectorizer(min_df=1) 
vectorizer.fit(corpus)