大熊貓的Panel

Question

所有，

我目前正在試圖優化小回溯測試程序，我已經建立了我自己的一些子例程使用.AT功能時返回一個副本。我有一個'current_data'熊貓面板，其中包含所有數據。

我想如下訪問它：

self.current_data.at[order['instrument'], self.current_day, 'low'] 

然而，這是非常緩慢的。從文檔看來，這應該會返回一個視圖 - 因爲我沒有設置任何值。我正在使用最新的熊貓（0.11.0）。

你能說出爲什麼會這樣嗎？也許更快的方式來做到這一點？

順便說一句，我知道這是一個副本，因爲探查表明，frame.py:383（INIT）被調用每一次，如果我減少對象的大小此行大大加快。

乾杯！

編輯：

下面是如何重新建立我的問題。我現在看到問題可能不在.at。

items = ['A', 'B', 'C', 'D'] 
cols = ['a', 'b', 'c', 'd'] 


indices = pd.date_range(datetime.datetime.now(), periods=1000, freq="D") 
res = {} 
for item in items: 
    res[item] = pd.DataFrame(np.random.randn(1000, 4), columns=cols, index=indices) 

first = pd.Panel(res) 

print timeit.Timer(""" 
for i in range(100, 200): 
    today = indices[i] 
    first_change = first.ix[:, :i + 1, :] 
    first_change.at["A", today, "a"] 
    first_change.at["A", today, "b"] 
    first_change.at["A", today, "c"] 
""", setup="from __main__ import first, indices").timeit(number=50)/50.0 

#--- Time: 0.0307311664639 

indices = pd.date_range(datetime.datetime.now(), periods=10000, freq="D") 
res = {} 
for item in items: 
    res[item] = pd.DataFrame(np.random.randn(10000, 4), columns=cols, index=indices) 
second = pd.Panel(res) 

print timeit.Timer(""" 
for i in range(8100, 8200): 
    today = indices[i] 
    second_change = second.ix[:, :i + 1, :] 
    second_change.at["A", today, "a"] 
    second_change.at["A", today, "b"] 
    second_change.at["A", today, "c"] 
""", setup="from __main__ import second, indices").timeit(number=50)/50.0 

#--- Time: 0848793384464 

無論如何，這基本上是發生了什麼事情。它可能在.ix函數中，但它只是簡單地返回一個視圖，所以我不明白爲什麼需要更多時間。

這個問題可能不在.at然後，我想。

Answer 1

你必須測量別的東西，at是一個恆定的時間操作。請在你正在做的事情中展示一些更詳細的信息（例如樣本面板和訪問器）

In [24]: p = Panel(randn(1,1,1)) 

In [25]: %timeit p.at[0,0,0] 
100000 loops, best of 3: 5.33 us per loop 

In [26]: p = Panel(randn(10,10,10)) 

In [27]: %timeit p.at[0,0,0] 
100000 loops, best of 3: 5.34 us per loop 

In [28]: p = Panel(randn(100,100,100)) 

In [29]: %timeit p.at[0,0,0] 
100000 loops, best of 3: 5.28 us per loop 

In [30]: p = Panel(randn(1000,1000,1000)) 

In [31]: %timeit p.at[0,0,0] 
100000 loops, best of 3: 5.36 us per loop