每年一盒熊貓

我有一個DataFrame（多個日常時間序列），DateTimeIndex爲index和MultiIndex爲columns。我想選擇一個列並創建一個Box Plot，其中數據按年份分組。我認爲這很容易，但我正在努力獲得一些結果。每年一盒熊貓

>>> daily.shape 
(11319, 118) 

>>> daily.index 
DatetimeIndex(['1986-01-01', '1986-01-02', '1986-01-03', '1986-01-04', 
       '1986-01-05', '1986-01-06', '1986-01-07', '1986-01-08', 
       '1986-01-09', '1986-01-10', 
       ... 
       '2016-12-22', '2016-12-23', '2016-12-24', '2016-12-25', 
       '2016-12-26', '2016-12-27', '2016-12-28', '2016-12-29', 
       '2016-12-30', '2016-12-31'], 
       dtype='datetime64[ns]', name='timevalue', length=11319, freq=None) 
>>> daily.columns 
MultiIndex(levels=[['41B001', '41B004', '41B006', '41B008', '41B011', '41MEU1', '41N043', '41R001', '41R002', '41R012', '41WOL1', '41WOL2', '47E013', 'T1M001', 'T1M003'], ['BA-10.0', 'BA-2.5', 'BC', 'CO', 'CO2', 'NO', 'NO2', 'NOx', 'O3', 'PM-10.0', 'PM-2.5', 'RH', 'SO2', 'T', 'UVPM', 'VO-10.0', 'VO-2.5', 'WD', 'WS-s', 'WS-v', 'p']], 
      labels=[[0, 0, 0, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 3, 3, 3, 3, 3, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 5, 5, 5, 5, 5, 5, 5, 5, 5, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 8, 8, 8, 8, 8, 8, 8, 8, 9, 9, 9, 9, 9, 9, 9, 9, 9, 9, 9, 9, 9, 9, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 11, 12, 12, 12, 12, 13, 13, 13, 13, 13, 13, 13, 14, 14, 14, 14, 14, 14, 14], [5, 6, 7, 3, 5, 6, 7, 8, 3, 5, 6, 7, 8, 3, 5, 6, 7, 12, 0, 1, 5, 6, 7, 8, 9, 10, 15, 16, 0, 1, 5, 6, 7, 9, 10, 15, 16, 0, 1, 2, 3, 5, 6, 7, 8, 9, 10, 12, 14, 15, 16, 0, 1, 2, 3, 5, 6, 7, 8, 9, 10, 12, 14, 15, 16, 2, 3, 4, 5, 6, 7, 12, 14, 0, 1, 2, 4, 5, 6, 7, 8, 9, 10, 12, 14, 15, 16, 0, 2, 3, 4, 5, 6, 7, 8, 9, 12, 14, 15, 4, 5, 6, 7, 12, 11, 13, 13, 17, 18, 19, 20, 11, 13, 13, 17, 18, 19, 20]], 
      names=['sitekey', 'measurandkey'])

我能做到的最好的是：

fig, axe = plt.subplots() 
daily.loc[:,[('41R001', 'SO2')]].groupby(daily.index.map(lambda x: x.year)).boxplot(ax=axe, subplots=False, rot=90)

但它會需要其它的後期處理進行標記軸。

當我嘗試使用reset_index()來應用函數並使用pivot()時，由於MultiIndex，我有索引錯誤。

d = daily.reset_index() 
d['timevalue']

例外情況是：無法處理非唯一的多索引！我不明白，因爲我的MultiIndex中沒有發生TimeValue。我也試過.loc[]，但我認爲問題在別處。

所以，我將實現很簡單：

我有多年間，每天的時間序列和那些時間序列是多索引;
我想選擇其中的一個（使用loc和上述示例中的組合鍵）並獲取按年份分組數據的時間倉箱圖。

我認爲這可能很容易，但由於mutli-index錯誤，我無法正確使用pivot()與此DataFrame。

來源

2017-03-28 jlandercy

如果你不介意使用seaborn庫可以讓這個情節很容易：

import pandas as pd 
import seaborn as sns 

index = pd.DatetimeIndex(start=pd.to_datetime('1985-01-01'), 
         end = pd.to_datetime('2017-03-08'), 
         freq='d') 
df = pd.DataFrame(index = index, 
        data = np.random.uniform(-1,1,size=(index.shape[0],4)), 
        columns=pd.MultiIndex.from_arrays([['A','A','B','B'], 
                ['d','e','d','e']])) 
df['Year'] = df.index.year 
#     A     B   Year 
#     d   e   d   e  
# 1985-01-01 0.205208 -0.228484 0.296273 0.545031 1985 
# 1985-01-02 0.546436 -0.538920 0.173388 0.848590 1985 
# 1985-01-03 -0.367593 -0.974911 -0.796331 -0.946239 1985 
# 1985-01-04 -0.346102 -0.951542 -0.975172 0.951099 1985 
# 1985-01-05 0.973975 0.708254 -0.150454 0.145298 1985 

ax = sns.boxplot(data = df, x='Year',y=('A','e')) 
for item in ax.get_xticklabels(): 
    item.set_rotation(90)

產生的圖像：

我嘗試使用pandas.DataFrame.boxplot()方法，但couldn」讓它在短時間內適用於這種情況=）。

來源

2017-03-28 11:54:19 gereleth

你在正確的軌道上使用groupby和pivot。首先，讓我們來創建一些虛擬的數據：

# create index 
index = pd.DatetimeIndex(pd.date_range("1986-01-01", periods=200, freq="w")) 

# create columns 
col_lvl_1 = ['41B001', '41B004', '41B006'] 
col_lvl_2 = ['BA-10.0', 'BA-2.5', 'BC'] 
columns = pd.MultiIndex.from_product([col_lvl_1, col_lvl_2], names=["Lvl1", "Lvl2"]) 

# random data 
data = np.random.randint(0, 100, size=(200, 9)) 

# create df 
df = pd.DataFrame(data, index=index, columns=columns) 
df["year"] = df.index.year 

print(df.head()) 

Lvl1  41B001     41B004     41B006     year 
Lvl2  BA-10.0  BA-2.5 BC BA-10.0  BA-2.5 BC BA-10.0  BA-2.5 BC 
1986-01-05 81   41  52 87   73  41 14   20  66 1986 
1986-01-12 14   27  33 96   69  85 93   28  45 1986 
1986-01-19 31   46  87 88   19  62 89   50  1 1986 
1986-01-26 21   6  45 2   73  64 71   42  38 1986 
1986-02-02 76   94  33 64   33  56 91   43  42 1986

現在，你可以

迭代通過你的列值（除一年柱），
子集與當前列，包括一年的數據幀，
將您的子數據框轉爲具有年份列
並最終繪製它。

就是這樣。

for column in df.columns.values[:-1]: 
    sub_df = df.loc[:, [column, ("year", "")]] 
    pivot_df = sub_df.pivot(columns="year") 
    pivot_df.columns = pivot_df.columns.levels[2] 
    pivot_df.plot(kind="box", title=column)

而更多的圖片下面這裏...

來源

2017-03-28 12:26:21 pansen

每年一盒熊貓

回答

相關問題