計算熊貓DataFrame沿每列的自相關

Question

我想計算Pandas DataFrame的列之間的滯後長度的自相關係數。我的數據的一個片段是：

  RF  PC   C   D  PN  DN   P 
year                  
1890  NaN  NaN  NaN  NaN  NaN  NaN  NaN 
1891 -0.028470 -0.052632 0.042254 0.081818 -0.045541 0.047619 -0.016974 
1892 -0.249084 0.000000 0.027027 0.067227 0.099404 0.045455 0.122337 
1893 0.653659 0.000000 0.000000 0.039370 -0.135624 0.043478 -0.142062 

除了年，我要計算一個滯後的自相關性爲每列（RF，PC，等...）。

爲了計算自相關，我提取了兩個時間序列，每個列的開始和結束數據相差一年，然後用numpy.corrcoef計算相關係數。

例如，我寫道：

numpy.corrcoef(data[['C']][1:-1],data[['C']][2:])

（整個數據幀被稱爲data）。
然而，不幸的是命令返回：

array([[ nan, nan, nan, ..., nan, nan, nan], 
     [ nan, nan, nan, ..., nan, nan, nan], 
     [ nan, nan, nan, ..., nan, nan, nan], 
     ..., 
     [ nan, nan, nan, ..., nan, nan, nan], 
     [ nan, nan, nan, ..., nan, nan, nan], 
     [ nan, nan, nan, ..., nan, nan, nan]]) 

有人可以請告知我如何計算自相關？

Answer 1

你應該使用：

numpy.corrcoef(df['C'][1:-1], df['C'][2:]) 

df[['C']]代表一個數據幀，只有一列，而df['C']是包含在C列的值系列。

Answer 2

這是一個遲到的回答，但對於未來的用戶，您還可以使用pandas.Series.autocorr（），其計算在系列滯後-N（默認值= 1）自相關：

df['C'].autocorr(lag=1) 

http://pandas.pydata.org/pandas-docs/stable/generated/pandas.Series.autocorr.html#pandas.Series.autocorr

Answer 3

.autocorrapplies到系列，而不是數據幀。您可以使用.apply適用於一個數據幀：

def df_autocorr(df, lag=1, axis=0): 
    """Compute full-sample column-wise autocorrelation for a DataFrame.""" 
    return df.apply(lambda col: col.autocorr(lag), axis=axis) 
d1 = DataFrame(np.random.randn(100, 6)) 

df_autocorr(d1) 
Out[32]: 
0 0.141 
1 -0.028 
2 -0.031 
3 0.114 
4 -0.121 
5 0.060 
dtype: float64 

你也可以計算滾動與指定窗口自相關情況如下（這是.autocorr是引擎蓋下做）：

def df_rolling_autocorr(df, window, lag=1): 
    """Compute rolling column-wise autocorrelation for a DataFrame.""" 

    return (df.rolling(window=window) 
     .corr(df.shift(lag))) # could .dropna() here 

df_rolling_autocorr(d1, window=21).dropna().head() 
Out[38]: 
     0  1  2  3  4  5 
21 -0.173 -0.367 0.142 -0.044 -0.080 0.012 
22 0.015 -0.341 0.250 -0.036 0.023 -0.012 
23 0.038 -0.329 0.279 -0.026 0.075 -0.121 
24 -0.025 -0.361 0.319 0.117 0.031 -0.120 
25 0.119 -0.320 0.181 -0.011 0.038 -0.111