使用numpy/pandas按時間戳合併時間序列數據

Question

我從三個完全不同的傳感器源獲取時間序列數據作爲CSV文件，並且希望將它們合併爲一個大的CSV文件。 我已經設法使用numpy的genfromtxt將它們讀入numpy，但我不確定要從這裏做什麼。

基本上，我已經是這樣的：

表1：

timestamp val_a val_b val_c 

表2：

timestamp val_d val_e val_f val_g 

表3：

timestamp val_h val_i 

所有時間戳是UNIX毫秒t imestamps爲numpy.uint64。

而我想要的是：

timestamp val_a val_b val_c val_d val_e val_f val_g val_h val_i 

...其中所有數據合併，並通過時間戳排序。三個表格中的每一個都已按時間戳排序。 由於數據來自不同的來源，因此不能保證來自表1的時間戳也將在表2或3中，反之亦然。在這種情況下，空值應該標記爲N/A。

到目前爲止，我用熊貓來轉換數據，像這樣嘗試：

df_sensor1 = pd.DataFrame(numpy_arr_sens1) 
df_sensor2 = pd.DataFrame(numpy_arr_sens2) 
df_sensor3 = pd.DataFrame(numpy_arr_sens3) 

，然後使用pandas.DataFrame.merge試過，但我敢肯定，這將不適合什麼工作，我現在想做。任何人都可以將我指向正確的方向嗎？

Answer 1

我認爲，你可以簡單地

• 定義timestamp每個DataFrame（使用​​）
• 使用join他們與'outer'法合併的index
• Optionnaly轉換timestamp到datetime

他re就是它的樣子。

# generating some test data 
timestamp = [1440540000, 1450540000] 
df1 = pd.DataFrame(
    {'timestamp': timestamp, 'a': ['val_a', 'val2_a'], 'b': ['val_b', 'val2_b'], 'c': ['val_c', 'val2_c']}) 
# building a different index 
timestamp = timestamp * np.random.randn(abs(1)) 
df2 = pd.DataFrame(
    {'timestamp': timestamp, 'd': ['val_d', 'val2_d'], 'e': ['val_e', 'val2_e'], 'f': ['val_f', 'val2_f'], 
    'g': ['val_g', 'val2_g']}, index=index) 
# keeping a value in common with the first index 
timestamp = [1440540000, 1450560000] 
df3 = pd.DataFrame({'timestamp': timestamp, 'h': ['val_h', 'val2_h'], 'i': ['val_i', 'val2_i']}, index=index) 

# Setting the timestamp as the index 
df1.set_index('timestamp', inplace=True) 
df2.set_index('timestamp', inplace=True) 
df3.set_index('timestamp', inplace=True) 

# You can convert timestamps to dates but it's not mandatory I think 
df1.index = pd.to_datetime(df1.index, unit='s') 
df2.index = pd.to_datetime(df2.index, unit='s') 
df3.index = pd.to_datetime(df3.index, unit='s') 

# Just perform a join and that's it 
result = df1.join(df2, how='outer').join(df3, how='outer') 
result