閱讀格式與換行無關的非常大的文件

Question

我的Python代碼支持以其他人創建的文件格式讀寫數據，文件格式爲BLT format。 BLT格式是白色空間和獨立的換行符，因爲新行被視爲與其他空白空間一樣。此格式的主要入口是一個「投票」，它以「0」結尾，例如，

1 2 3 0 

由於格式是獨立於換行，也可以寫成

1 2 
3 0 

或者你可以在一條線上有多個選票：

1 2 3 0 4 5 6 0 

這些文件可能非常大，因此我不想將整個文件讀入內存。由於數據不是基於行的，因此基於行的讀取很複雜。以有效利用內存的方式處理這些文件的好方法是什麼？

Answer 1

對我來說，解決這個問題最直接的方法就是使用發電機。

def tokens(filename): 
    with open(filename) as infile: 
     for line in infile: 
      for item in line.split(): 
       yield int(item) 

def ballots(tokens): 
    ballot = [] 
    for t in tokens: 
     if t: 
      ballot.append(t) 
     else: 
      yield ballot 
      ballot = [] 

t = tokens("datafile.txt") 

for b in ballots(t): 
    print b 

我看@katrielalex發佈了一個發電機使用解決方案，當我發佈我的。我們之間的區別在於，我使用了兩個獨立的生成器，一個用於文件中的單個令牌，另一個用於您希望解析的特定數據結構。前者作爲參數傳遞給後者，其基本思想是可以爲要分析的每個數據結構編寫一個函數，如ballots()。您可以對發生器產生的所有內容進行迭代，或者在任一發生器上調用next()以獲取下一個標記或選票（當您用完時爲StopIteration例外做準備，或者寫入發生器以生成標記值，例如None他們用完了真實的數據，並檢查它）。

將整個事物包裝在一個類中是非常簡單的。其實...

class Parser(object): 

    def __init__(self, filename): 

     def tokens(filename): 
      with open(filename) as infile: 
       for line in infile: 
        for item in line.split(): 
         yield int(item) 

     self.tokens = tokens(filename) 

    def ballots(self): 
     ballot = [] 
     for t in self.tokens: 
      if t: 
       ballot.append(t) 
      else: 
       yield ballot 
       ballot = [] 

p = Parser("datafile.txt") 

for b in p.ballots(): 
    print b 

Answer 2

使用generator：

>>> def ballots(f): 
...  ballots = [] 
...  for line in f: 
...    for token in line.split(): 
...      if token == '0': 
...        yield ballots 
...        ballots = [] 
...      else: 
...        ballots.append(token) 

這將逐行讀取文件中的行，分裂的所有空白，並通過一個附加線中的某個令牌到列表中。每當達到零時，該選票就是yield ed，並且列表重置爲空。