什麼是更有效的方式來讀取文本文件

Question

有文本文件（約300米），並需要計數前N個頻率的單詞。第一步是從磁盤讀取它，現在我只需使用open.read().lower()（不區分大小寫）是否有更有效的方法來處理IO部分？測試機有8核4G內存和Linux系統，python版本爲2.6。

Answer 1

是的，過程行文件行的迭代器：

with open(filename) as inputfile: 
    for line in inputfile: 
     line = line.lower() 

這將緩衝器的讀取性能，但不把儘可能多的壓力，你的記憶，避免了必須換。

接下來，使用collections.Counter()爲您做頻率計數。它將以純Python代碼中最有效的方式處理計數併爲您選擇前N個單詞。

一個天真的方式來獲取單詞將是拆分空白的行;結合與發電機表達式可以給你在一行代碼中的所有字數：

from collections import Counter 

with open(filename) as inputfile: 
    counts = Counter(word for line in inputfile for word in line.lower().split()) 

for word, frequency in counts.most_common(N): 
    print '{<40} {}'.format(word, frequency) 

在Python 2.7版添加的Counter類;對於2.6你可以使用this backport。