使用pandas（和glob？）合併目錄中的大量（csv）數據文本文件。

Question

我有許多獨立的X，Y（整數）列數據的儀器文件。所有數組都是相同的維度。 X列對於每個文件都是相同的，Y列號是不同的。如果可能，我想將連續文件的Y列連接到第一個文件，然後寫一個新的包含第一個X和多個Y的單個大數組？就像這樣：

文件1 = X1 Y1 = file2的X1 Y2 =文件3 X1 Y3 ......新文件的結果應該是：X1 Y1 Y2 Y3 ......

一直在尋找的變化： 進口大熊貓 數據= pandas.read_csv（「file1.csv」）

打印（數據）返回一號文件陣列確定

需要打開和環比連續文件加入Ÿ列到file1 ......

Answer 1

你可以做這樣的事情：

import os 
import glob 
import pandas as pd 

def get_merged_csv(flist, **kwargs): 
    return pd.concat([pd.read_csv(f, **kwargs).set_index('X') for f in flist], axis=1).reset_index() 

path = 'C:/Users/csvfiles' 
fmask = os.path.join(path, '*mask*.csv') 

df = get_merged_csv(glob.glob(fmask)) 

以命名Y列像Y1，Y2等：

cols = ['{0[0]}{0[1]}'.format(t) for t in zip(df.columns[1:], range(1, len(df.columns)))] 
df.columns = df.columns.tolist()[:1] + cols 

測試數據：

a.csv：

X,Y 
1,11 
2,12 
3,13 

b.csv ：

X,Y 
1,21 
2,22 
3,23 

c.csv：

X,Y 
1,31 
2,32 
3,33 

測試：

In [215]: df = get_merged_csv(glob.glob(fmask)) 

In [216]: df 
Out[216]: 
    X Y Y Y 
0 1 11 21 31 
1 2 12 22 32 
2 3 13 23 33 

In [217]: cols = ['{0[0]}{0[1]}'.format(t) for t in zip(df.columns[1:], range(1, len(df.columns)))] 

In [218]: cols 
Out[218]: ['Y1', 'Y2', 'Y3'] 

In [219]: df.columns = df.columns.tolist()[:1] + cols 

In [220]: df 
Out[220]: 
    X Y1 Y2 Y3 
0 1 11 21 31 
1 2 12 22 32 
2 3 13 23 33