使用當前行作爲條件的大熊貓累計總和

Question

我有一個相當大的約200萬條記錄的數據集，每個記錄都有一個開始時間和一個結束時間。我想插入字段到每個計數多少記錄有在表中的記錄：

• 啓動時間小於或等於「該行」的開始時間
• 和END時間大於「這一行」的開始時間

因此，基本上每個記錄最後都會包含多少個事件（包括它本身）與它同時處於「活動」狀態。

我一直在試圖教自己的熊貓做到這一點，但我甚至不知道從哪裏開始尋找。我可以找到很多符合給定條件（例如「> 2」）的行的求和示例，但似乎無法掌握如何遍歷行以根據當前行中的值有條件地求和列。

Answer 1

您可以嘗試下面的代碼來獲得最終結果。

import pandas as pd 
import numpy as np 
df = pd.DataFrame(np.array([[2,10],[5,8],[3,8],[6,9]]),columns=["start","end"]) 

active_events= {} 
for i in df.index: 
    active_events[i] = len(df[(df["start"]<=df.loc[i,"start"]) & (df["end"]> df.loc[i,"start"])]) 
last_columns = pd.DataFrame({'No. active events' : pd.Series(active_events)}) 

df.join(last_columns) 

Answer 2

在這裏。這將是緩慢的。

注意，這個計算每一行與自身重疊，這樣的成績列將永遠爲0

import pandas as pd 
df = pd.DataFrame({'start_time': [4,3,1,2],'end_time': [7,5,3,8]}) 
df = df[['start_time','end_time']] #just changing the order of the columns for aesthetics 

def overlaps_with_row(row,frame): 
    starts_before_mask = frame.start_time <= row.start_time 
    ends_after_mask = frame.end_time > row.start_time 
    return (starts_before_mask & ends_after_mask).sum() 

df['number_which_overlap'] = df.apply(overlaps_with_row,frame=df,axis=1) 

收益率（從結果中減去1做它的其他方式。）：

In [8]: df 
Out[8]: 
    start_time end_time number_which_overlap 
0   4   7      3 
1   3   5      2 
2   1   3      1 
3   2   8      2 

[4 rows x 3 columns]