更快地擴展熊貓數據框的值

Question

假設我有這樣的數據框。

df = pd.DataFrame( data = np.random.random((10,3)), 
        columns = [ 'Year', 'Var1', 'Var2' ], 
        index = np.arange(10)) 
df.Year = np.repeat([2000, 2001], 5) 

>>> df 
    Year  Var1  Var2 
0 2000 0.811247 0.483376 
1 2000 0.707072 0.514624 
2 2000 0.457840 0.246798 
3 2000 0.000576 0.105618 
4 2000 0.825557 0.044757 
5 2001 0.350272 0.406710 
6 2001 0.176377 0.084755 
7 2001 0.039902 0.510173 
8 2001 0.631718 0.136885 
9 2001 0.441104 0.831035 

我想採取2001年的值，並重復他們，直到2200.這是我目前如何做到這一點。 （這對於大數據幀來說很慢）

df2001 = df[ df.Year == 2001 ] 
extensionRange = np.arange(2002, 2200 + 1) 
for year in extensionRange: 
    df2001.Year = year 
    df = df.append(df2001) 

>>> df.tail(10) 
    Year  Var1  Var2 
5 2199.0 0.350272 0.406710 
6 2199.0 0.176377 0.084755 
7 2199.0 0.039902 0.510173 
8 2199.0 0.631718 0.136885 
9 2199.0 0.441104 0.831035 
5 2200.0 0.350272 0.406710 
6 2200.0 0.176377 0.084755 
7 2200.0 0.039902 0.510173 
8 2200.0 0.631718 0.136885 
9 2200.0 0.441104 0.831035 

我的實際數據幀要大得多，這個過程大約需要1分鐘才能完成。有沒有更快的方法來做到這一點？也許沒有追加？

Answer 1

每當你追加你創建一個昂貴的新副本。如果要在單個操作中連接所有數據幀，您可能會花費一些時間。

new_df = pd.concat([df] * len(np.arange(2002, 2200 + 1))) 

%timeit new_df = pd.concat([df] * len(np.arange(2002, 2200 + 1))) 
100 loops, best of 3: 20.5 ms per loop 

此創建新的數據幀時會節省時間，但你還是老樣子需要更改年份列。這可以實現簡單地改變年，並可以在一個操作中實現如下

import itertools 
years = [[year]*len(df) for year in np.arange(2002, 2200 + 1)] 
new_df['Year'] = itertools.chain(*years) 

%timeit new_df['Year'] = itertools.chain(*[[year]*len(df) for year in np.arange(2002, 2200 + 1)]) 
1000 loops, best of 3: 424 µs per loop 

你基本上與去年重複創建列表的列表中的初始數據幀的長度。

Answer 2

使用numpy的瓷磚和重複

df = pd.DataFrame(data = np.random.random((10,3)), 
        columns = ['Year','Var1','Var2'], 
        index = np.arange(10)) 
df.Year = np.repeat([2000, 2001], 5) 

# assign variables 
max_year = 2200 
unique_year = 2000 
rows_each_year = 5 

year_clone_count = max_year - unique_year 
# grab values from input dataframe as numpy arrays, tile values to repeat 
base = df[df.Year == unique_year][['Var1', 'Var2']].values 
extended = np.tile(df[df.Year == unique_year + 1][['Var1', 'Var2']].values.T, 
        year_clone_count).T 

# join non-repeat data with repeated data 
data = np.concatenate((base, extended)) 

# make year column 
year_col = np.repeat(range(unique_year, max_year + 1), 
        rows_each_year) 

# create dataframe 
df_out = pd.DataFrame({'Year': year_col, 
         'Var1': data[:, 0], 
         'Var2': data[:, 1]})