使用非缺失數據填充熊貓數據框中兩列的缺失數據

Question

我有一個3列的熊貓數據框。

data = data[['id','foo','bar']] 

約1％的數據集foo和bar都丟失，但沒有id。我打算用非零的foo和bar隨機對進行估算。假設id永遠不爲null，並且foo和bar都爲null或者都爲非null。

Answer 1

你是否想要做類似的事情？

import pandas as pd 
import numpy as np 
index = range(10) 
df = pd.DataFrame(np.random.randn(10,2), index=index, columns=['foo','bar']) 
df['foo'].iloc[0:4] = np.nan 

invalid = df['foo'].isnull() 
nInvalid = df[invalid].shape[0] 
valids = df['foo'][-invalid] 
nValid = valids.shape[0] 
randomInst = np.random.randint(0,nValid,nInvalid) 
df['foo'].loc[invalid] = valids.iloc[randomInst].as_matrix() 

編輯適用於酒吧以及：

df['bar'].loc[invalid] = df['bar'][-invalid].iloc[randomInst].as_matrix() 

Answer 2

能

這個幫助你嗎？

import pandas as pd 
data = pd.DataFrame(data) 
invalid_data = data[(data['foo'].isnull()) & (data['bar'].isnull())] 

Answer 3

假設「富」值丟失時，所述「酒吧」值也被缺失（按您的問題），並且所述列類型是浮點：

mask = df['foo'].isnull() 
df.loc[mask,['foo', 'bar']] = np.random.random((np.sum(mask), 2)) 

---

如果你想使用有效值從實際數據框本身（因爲它們更能代表你的數據的取值範圍），你可以改用以下：

df.loc[mask,['foo', 'bar']] = df[['foo', 'bar']][~mask].sample(np.sum(mask)).values 

（可能用replace=True作爲sample方法的參數;當然也是np.random.random。）