tar文件停止後第一個常規文件

Question

我.tar.bz2文件，有很多小json文件。一個存檔可能有大約數千個，並且jsons很小（低於10kB，通常也低於千字節）。因此，壓縮後的單個壓縮文件不會超過100kB。

據the documentation，下面的函數應該在所有的常規文件中tar文件返回一個迭代器，返回他們的tarinfo結構和數據。

import tarfile 

def tariter(filename): 
    with tarfile.open(filename) as archive: 
     while True: 
      tarinfo = archive.next() 
      if tarinfo is None: 
       break 

      if tarinfo.isreg(): 
       handle = archive.extractfile(tarinfo.name) 
       data = handle.read() 
       handle.close() 

       yield tarinfo, data 

然而代替這一點，它只是返回它返回其第一文件（與內容一起）的迭代器，然後停止。顯然，archive.next()在讀完第二個成員之後返回無，即使歸檔文件很多。

難道我有一個錯誤的地方在這個代碼？

Answer 1

我不知道爲什麼next()失敗（失敗，我在當地也是），但這個工程（而且看上去清潔劑）：

import tarfile 

def tariter(filename): 
    with tarfile.open(filename) as archive: 
     for tarinfo in archive: 
      if tarinfo.isreg(): 
       handle = archive.extractfile(tarinfo.name) 
       data = handle.read() 
       handle.close() 

       yield tarinfo, data 

Answer 2

只是爲了利益的緣故改變原有的操作碼以下儘管@ upside代碼更有意義。

import tarfile 
def tariter(filename): 
    with tarfile.open(filename) as archive: 
     it = archive.__iter__() # CHANGE 
     while True: 
      tarinfo = it.next() # CHANGE 
      if tarinfo is None: 
       break 

      if tarinfo.isreg(): 
       handle = archive.extractfile(tarinfo.name) 
       data = handle.read() 
       handle.close() 

       yield tarinfo, data 

Answer 3

解決方法是直接使用extractfile與tarinfo而不是名稱。這工作：

def tariter(filename): 
    with tarfile.open(filename) as archive: 
     while True: 
      tarinfo = archive.next() 
      if tarinfo is None: 
       break 

      if tarinfo.isreg(): 
       handle = archive.extractfile(tarinfo) # LINE CHANGED 
       data = handle.read() 
       handle.close() 

       yield tarinfo, data 

至於爲什麼這種情況正在發生：TarFile.next()不不實現迭代器協議，因爲它返回None，而不是提高StopIteration。

有兩個部分，以迭代器協議：該返回一個迭代容器元件上的「外」部和「內」部是迭代器本身。

容器必須實現__iter__()，它返回一個新的對象，它是迭代器。 TarFile.__iter__()返回一個新的TarIter對象。

迭代器本身（TarIter）實現了__iter__()（總是返回self）和next()。它還必須具有自己的獨立索引來指向原始容器中的項目。這可以讓你在同一個容器上生成幾個不同的迭代器，而不會讓單獨的迭代互相混淆。

TarFile.next()，但是，確實不使用單獨的索引的迭代，所以如果其他人使用由TarFile他們會弄亂迭代所提供的僞迭代協議。

這似乎是這裏發生了什麼。 TarFile.extractfile(filename)查找使用的TarFile.next()代替TarFile.__iter__()這是你用什麼在當前TarFile匹配的文件。這會破壞「下一項」索引，導致archive.next()在第一次調用extractfile()後返回None。

但是，如果你使用extractfile(tarinfo)，該tarinfo對象中有足夠的元數據TarFile提取字符串內容，而不通過archive對象尋找匹配文件名查找。因此，archive.extractfile(tarinfo)可能比archive.extractfile(tarinfo.name)更快。

一般來說，集合對象（如TarFile）應該而不是自己迭代，但產生一個新的對象來遍歷它們。 TarFile.next()僅僅存在一個壞設計的氣味。也許有一個很好的理由，但你不必使用它！

而是執行此操作：

def tariter(filename): 
    with tarfile.open(filename) as archive: 
     # use TarIter object for iteration over archive 
     for tarinfo in archive: 
      if tarinfo.isreg(): 
       handle = archive.extractfile(tarinfo) 
       data = handle.read() 
       handle.close() 
       yield tarinfo, data 

這是更清晰，我敢打賭，這是一個有點快了。