2017-01-09 157 views
2

我們如何讀取壓縮到多個文件的csv文件?通過Python壓縮文件庫讀取單獨壓縮的csv文件(.zip .z01等)

由於4 GB的FAT存儲格式限制,我已將csv文件編譯爲多個zip文件,如test.ziptest.z01

我找到了可以在「單個」壓縮文件中讀取csv文件的庫zipfile。但我不知道在「單獨」壓縮文件中讀取csv文件。

例如: Reading csv zipped files in python 提供瞭如何在一個壓縮文件中讀取csv文件。

import pandas as pd 
import zipfile 

zf = zipfile.ZipFile('C:/Users/Desktop/THEZIPFILE.zip') 
df = pd.read_csv(zf.open('intfile.csv')) 

總之,我的問題是,我們如何能出同一時間訪問csv文件都test.ziptest.z01

回答

0

我以一種迂迴的方式解決了這個問題,通過明確地將兩個csv文件轉換爲具有相似列數的完全不同的兩個壓縮文件並將它們合併爲一個文件。

import pandas as pd 
import zipfile 

zf1 = zipfile.ZipFile('C:/Users/Desktop/THEZIPFILE1.zip') 
df1 = pd.read_csv(zf1.open('intfile.csv')) 

zf2 = zipfile.ZipFile('C:/Users/Desktop/THEZIPFILE2.zip') 
df2 = pd.read_csv(zf2.open('intfile.csv'))