Python 2.7：堅持搜索和索引

Question

我寫了一個小型「搜索工具」，可以找到目錄及其子目錄中的所有文本文件 - 我可以編輯代碼，但我認爲這對於我的題。

它的工作原理是這樣的格式製作詞典：

term_frequency = {'file1' : { 'WORD1' : 1, 'WORD2' : 2, 'WORD3' : 3}} 
       {'file2' : { 'WORD1' : 1, 'WORD3' : 3, 'WORD4' : 4}} 
       ...continues with all the files it has found... 

從收集到的信息會創建第二個字典像這樣：

document_frequency = {'WORD1' : ['file1', 'file2'....], 
         'WORD2' : ['file1',............], 
         ....every found word..........]} 

的term_frequency dictionary的目的是爲了保持數據一個單詞在該文件中被使用了多少次，並且document_frequency表示該單詞已被使用了多少個文檔。

然後，當給出一個單詞時，它按tf/df計算每個文件的相關性，並列出文件的下降相關性中的non-zero值。

例如：

file1 : 0.75 
file2 : 0.5 

我知道，這是TF-IDF的一個非常簡單的表現，但我是新來的Python和編程（2周），我逐漸熟悉了這一切。

對不起長上下的前奏，但我覺得這是相關的問題......這使我對想：

我如何去製作，在一個文件中保存這些詞典的索引和然後讓一個「搜索者」從文件中讀取這些字典。因爲現在的問題是，每當你想尋找一個不同的單詞時，它必須再次讀取所有文件，並且一遍又一遍地製作相同的2個字典。

Answer 1

The pickle (and for that matter cPickle)圖書館是你的朋友在這裏。通過使用pickle.dump（），可以將整個字典轉換爲一個文件，以後可以通過pickle.load（）讀回。

在這種情況下，你可以使用這樣的事情：

import pickle 
termfile = open('terms.pkl', 'wb') 
documentfile = open('documents.pkl', 'wb') 
pickle.dump(term_frequency, termfile) 
pickle.dump(document_frequency, documentfile) 
termfile.close() 
documentfile.close() 

和讀回，像這樣：

termfile = open('terms.pkl', 'rb') 
documentfile = open('documents.pkl', 'rb') 
term_frequency = pickle.load(termfile) 
document_frequency = pickle.load(documentfile) 
termfile.close() 
documentfile.close()