按列數和寫入數據過濾Pandas df

我有一個地理位置社交媒體帖子的數據集，我試圖按大於1（發佈2次或更多次的用戶）的頻率過濾user_id的頻率，。我想過濾這個，這樣我可以進一步清理我創建的軌跡數據。按列數和寫入數據過濾Pandas df

示例代碼：

# Import Data 
data = pd.read_csv('path', delimiter=',', engine='python') 
#print len(data),"rows" 
#print data 

# Create Data Fame 
df = pd.DataFrame(data, columns=['user_id','timestamp','latitude','longitude']) 
#print data.head() 

# Get a list of unique user_id values 
uniqueIds = np.unique(data['user_id'].values) 

# Get the ordered (by timestamp) coordinates for each user_id 
output = [[id,data.loc[data['user_id']==id].sort_values(by='timestamp')['latitude','longitude'].values.tolist()] for id in uniqueIds] 

# Save outputs 
outputs = pd.DataFrame(output) 
#print outputs 
outputs.to_csv('path', index=False, header=False)

我試着用df[].value_counts()得到USER_ID的計數，然後在該行output = [[......data['user_id']==id>1].....但是通過> 1，沒有工作。是否可以將user_id的頻率作爲附加參數添加到代碼中，並僅爲這些用戶提取信息？

的樣本數據：

user_id, timestamp, latitude, longitude 
478134225, 3/12/2017 9:04, 38.8940974, -77.0276216 
478103585, 3/12/2017 9:04, 38.882584, -77.1124701 
478073193, 3/12/2017 9:07, 39.00027849, -77.09480086 
476194185, 3/12/2017 9:14, 38.8048355, -77.0469214 
476162349, 3/12/2017 9:16, 38.8940974, -77.0276216 
478073193, 3/12/2017 9:05, 38.8549, -76.8752 
477899275, 3/12/2017 9:08, 38.90181532, -77.03733586 
477452890, 3/12/2017 9:08, 38.96117237, -76.95561893 
478073193, 3/12/2017 9:05, 38.7188716, -77.1542684

來源

2017-04-08 Andrew R.

的可能的複製[Python的熊貓：排除低於某一頻率計數行數]（http://stackoverflow.com/questions/30485151/python-pandas-exclude-rows-below-a-certain-frequency-計數） –

讓我們嘗試groupby那麼filter方法返回只有那些在過濾器功能評估爲真記錄。在這種情況下，對於具有多條記錄的組或user_id，返回True。

df.groupby('user_id').filter(lambda x: x['user_id'].count()>1)

來源

2017-04-08 20:49:39

這個技巧。然後能夠創建新的已過濾的df，讓我的代碼的其餘部分參考。謝謝！ –

@AndrewR。不用謝。 –

按列數和寫入數據過濾Pandas df

回答

相關問題