爲pandas中的多索引數據框填充所有月份

Question

我有一張表，其中包含2015年至2017年每月數千種產品的銷售額和預測。 我的數據給出了需求&根據每個網站，類型，產品和日期）

的問題是，如果沒有銷售&沒有預測在一個月內我沒有看到具體的線路。在下面的示例中，您會看到「2015-08-31」行缺失。 我希望看到該行的需求爲0，預測爲0. （請參閱下面的df_expected示例）。

基本上我想和0來填補這個表2015年6月30日之間的所有日期二零一七年九月三十零日所有產品/類型/網站的組合。

正如你在我還沒有定義的任何指數的代碼中看到，但基本上[簡稱「網站」，「類型」，「產品」，「日期」]可以被看作是多指標。

請注意，我有幾百萬行。

import pandas as pd 
data = [("W1","G1",1234,pd.to_datetime("2015-07-31"),8,4), 
     ("W1","G1",1234,pd.to_datetime("2015-09-30"),2,4), 
     ("W1","G1",1234,pd.to_datetime("2015-10-31"),2,4), 
     ("W1","G1",1234,pd.to_datetime("2015-11-30"),4,4), 
     ("W1","G2",2345,pd.to_datetime("2015-07-31"),5,0), 
     ("W1","G2",2345,pd.to_datetime("2015-08-31"),1,3), 
     ("W1","G2",2345,pd.to_datetime("2015-10-31"),1,3), 
     ("W1","G2",2345,pd.to_datetime("2015-11-30"),3,3)] 
labels = ["Site","Type","Product","Date","Demand","Forecast"] 
df = pd.DataFrame(data,columns=labels) 
df 

    Site Type Product  Date Demand Forecast 
0 W1 G1  1234 2015-07-31  8   4 
1 W1 G1  1234 2015-09-30  2   4 
2 W1 G1  1234 2015-10-31  2   4 
3 W1 G1  1234 2015-11-30  4   4 
4 W1 G2  2345 2015-07-31  5   0 
5 W1 G2  2345 2015-08-31  1   3 
6 W1 G2  2345 2015-10-31  1   3 
7 W1 G2  2345 2015-11-30  3   3 

這是我期待

data_expected = [("W1","G1",1234,pd.to_datetime("2015-07-31"),8,4), 
       ("W1","G1",1234,pd.to_datetime("2015-08-31"),0,0), 
       ("W1","G1",1234,pd.to_datetime("2015-09-30"),2,4),   
       ("W1","G1",1234,pd.to_datetime("2015-10-31"),2,4), 
       ("W1","G1",1234,pd.to_datetime("2015-11-30"),4,4)] 
df_expected = pd.DataFrame(data_expected,columns=labels) 
df_expected 

    Site Type Product  Date Demand Forecast 
0 W1 G1  1234 2015-07-31  8   4 
1 W1 G1  1234 2015-08-31  0   0 
2 W1 G1  1234 2015-09-30  2   4 
3 W1 G1  1234 2015-10-31  2   4 
4 W1 G1  1234 2015-11-30  4   4 

我本來想堆結果/拆散，以確保我有所有月份。但對於有數百萬行的數據幀來說，這不是最佳選擇。

df = (df 
     .set_index("Date") 
     .groupby(["Site","Product","Type",pd.TimeGrouper('M')])[["Forecast","Demand"]].sum() 
     .unstack() 
     .fillna(0) 
     .astype(int)) 

你覺得呢？

Answer 1

您可以使用DataFrameGroupBy.resample與asfreq：

df = (df.set_index('Date') 
     .groupby(["Site","Type","Product"])['Demand','Forecast'] 
     .resample('M') 
     .asfreq() 
     .fillna(0) 
     .astype(int) 
     .reset_index()) 
print (df) 
    Site Type Product  Date Demand Forecast 
0 W1 G1  1234 2015-07-31  8   4 
1 W1 G1  1234 2015-08-31  0   0 
2 W1 G1  1234 2015-09-30  2   4 
3 W1 G1  1234 2015-10-31  2   4 
4 W1 G1  1234 2015-11-30  4   4 

編輯：

我試了一下改善與fill_value參數原液在unstack：

(df.set_index("Date") 
    .groupby(["Site","Product","Type",pd.TimeGrouper('M')])['Dem‌​and','Forecast'].sum‌​() 
    .unstack(fill_value=0) 
    .stack()) 

Answer 2

堆棧/拆散做法似乎工作速度更快。 與這個所有項目有相同的開始日期和結束日期

df = (df.set_index("Date") 
     .groupby(["Site","Product","Type",pd.TimeGrouper('M')])['Demand','Forecast'].sum() 
     .unstack() 
     .fillna(0) 
     .astype(int) 
     .stack()) 


           Demand Forecast 
Site Product Type Date       
W1 1234 G1 2015-07-31  8   4 
        2015-08-31  0   0 
        2015-09-30  2   4 
        2015-10-31  2   4 
        2015-11-30  4   4 
    2345 G2 2015-07-31  5   0 
        2015-08-31  1   3 
        2015-09-30  0   0 
        2015-10-31  1   3 
        2015-11-30  3   3