存儲已保存的列表時出現Python MemoryError

Question

我是python的新手，所以我很抱歉，如果這個例子很簡單。

我想寫一個簡單的腳本，將兩個大型數據文件（每個〜40GB）的部分分別提取到一個生成的文件中，格式略有變化。我最初嘗試使用readlines（），但是將所有文件讀入內存，而我們的實例只有28GB內存。使用sizehint參數僅解析文件的一部分。

我現在迭代該文件。問題是我將文本解析的輸出存儲在三個列表中，這些列表變得相當大，超出了可用內存。我認爲這只是切換到使用交換，這將是很好，但它只是退出與「MemoryError」。

這適用於小樣本文件，但扼流圈對我們的實際數據。

腳本：

import sys 

a = [] 
b = [] 
c = [] 

file1 = open(sys.argv[1],"r") 
for line in file1: 
    if '@' in line: 
     a.append(line.lstrip('@').rstrip('\n')) 
     b.append(file1.next().rstrip('\n')) 
file1.close() 

file2 = open(sys.argv[2],"r") 
for line in file2: 
    if '@' in line: 
     c.append(file2.next().rstrip('\n')) 
file2.close() 

file3 = open(sys.argv[3],"w") 
for i in xrange(len(a)): 
    file3.write("".join([">",a[i],'\n',b[i],":",c[i],"\n"])) 

我在網上發現表明創造某種數據庫來存儲變量的，但不應該是必要的。你有什麼想法，我應該如何處理這個？

爲了完整，這就是我想要做的（從我們的例子中的測試數據：

file1: 

@Read.Salmonella_paratyphi_A_chromosome.29004.4835/1 
TCGTGTACAGCATTCTTTATAGTGGAACGGTGACCGTACCGCAAAGCTGCGAAATCAACGCCGGACKIPPTCGTAG 
+ 
AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA 

file2: 

@Read.Salmonella_paratyphi_A_chromosome.29004.4835/1 
TCGTGTACAGCATTCTTTATAGTGGAACGGTGACCGTACCGCAAAGCTGCGAAATCAACGCCGGACAAACGATTCT 
+ 
AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA 

file3 (output): 

>Read.Salmonella_paratyphi_A_chromosome.29004.4835/1 
TCGTGTACAGCATTCTTTATAGTGGAACGGTGACCGTACCGCAAAGCTGCGAAATCAACGCCGGACKIPPTCGTAG:TCGTGTACAGCATTCTTTATAGTGGAACGGTGACCGTACCGCAAAGCTGCGAAATCAACGCCGGACAAACGATTCT 

Answer 1

我還沒有嘗試過這個自己，但似乎像下面應該工作：

file1 = open(sys.argv[1],"r") 
file2 = open(sys.argv[2],"r") 
file3 = open(sys.argv[3],"w") 

for line1 in file1: 
    if '@' in line1: # line1.startswith('@') is probably better here 
     a=line1.lstrip('@').rstrip('\n') 
     b=file1.next().rstrip('\n') 
     for line2 in file2: 
      if '@' in line2: 
       c=file2.next().rstrip('\n') 
       break 
     file3.write(">%s\n%s:%s\n"%(a,b,c)) 

file1.close() 
file2.close() 
file3.close() 

在這種情況下，每次只能在內存中保留一行......除非文件有真的長行; ^）。

此外，由於您的lstrip爲'@'字符，因此您可能需要考慮使用if line.startswith('@')而不是if '@' in line。

Answer 2

而不是解析文件到陣列（a，b和c），你可以寫到文件，解析文件

事情是這樣的pseudo'ish代碼：

def get_line_with_at(a): 
    while a: 
     line = a.readline() 
     if "@" in line: 
      return line.strip() 


# Open all file handles 
a, b, c = [open(sys.argv[x + 1]) for x in range(3)] 
out = open(sys.argv[4]) 

while a and b and c: 
    # Repeat until a, b, and file handles are exhausted 
    chunk1 = get_line_with_at(a) 
    chunk2 = b.next().strip() 
    chunk3 = get_line_with_at(c) 

    out.write(
     ">%s\n%s:%s\n" % (chunk1, chunk2, chunk3)) 

這樣，你應該只需要很少的加載到內存（理論上4文件句柄和當前行的內容）

Answer 3

這裏是我的[第二，更緊湊]努力：

import sys 
import itertools 

def reader(fileobj, yield_at_line=False): 
    for line in fileobj: 
     if line.startswith('@'): 
      at_line = line.lstrip('@').rstrip('\n') 
      next_line = fileobj.next().rstrip('\n') 
      yield (at_line, next_line) if yield_at_line else next_line 

with open(sys.argv[1]) as file1, open(sys.argv[2]) as file2, open(sys.argv[3], "w") as file3: 
    first = reader(file1, yield_at_line=True) 
    second = reader(file2) 
    for (a,b), c in itertools.izip(first, second): 
     file3.write('>{}\n{}:{}\n'.format(a, b, c)) 

這給

~/coding$ cat file1 
@Read.Salmonella_paratyphi_A_chromosome.29004.4835/1 
TCGTGTACAGCATTCTTTATAGTGGAACGGTGACCGTACCGCAAAGCTGCGAAATCAACGCCGGACKIPPTCGTAG 
+ 
AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA 

~/coding$ cat file2 
@Read.Salmonella_paratyphi_A_chromosome.29004.4835/1 
TCGTGTACAGCATTCTTTATAGTGGAACGGTGACCGTACCGCAAAGCTGCGAAATCAACGCCGGACAAACGATTCT 
+ 
AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA 

~/coding$ python simulwork.py file1 file2 file3 
~/coding$ cat file3 
>Read.Salmonella_paratyphi_A_chromosome.29004.4835/1 
TCGTGTACAGCATTCTTTATAGTGGAACGGTGACCGTACCGCAAAGCTGCGAAATCAACGCCGGACKIPPTCGTAG:TCGTGTACAGCATTCTTTATAGTGGAACGGTGACCGTACCGCAAAGCTGCGAAATCAACGCCGGACAAACGATTCT