如何用中位數填充NA？

Question

示例數據：

set.seed(1) 
df <- data.frame(years=sort(rep(2005:2010, 12)), 
       months=1:12, 
       value=c(rnorm(60),NA,NA,NA,NA,NA,NA,NA,NA,NA,NA,NA,NA)) 

head(df) 
    years months  value 
1 2005  1 -0.6264538 
2 2005  2 0.1836433 
3 2005  3 -0.8356286 
4 2005  4 1.5952808 
5 2005  5 0.3295078 
6 2005  6 -0.8204684 

請告訴我，我怎麼能在DF $值來代替NA來的人月平均？ 「價值」必須包含同一月份之前所有價值的中位數。也就是說，如果當前月份是五月份，則「價值」必須包含五月份以前所有值的中間值。

Answer 1

或用AVE

df <- data.frame(years=sort(rep(2005:2010, 12)), 
months=1:12, 
value=c(rnorm(60),NA,NA,NA,NA,NA,NA,NA,NA,NA,NA,NA,NA)) 
df$value[is.na(df$value)] <- with(df, ave(value, months, 
    FUN = function(x) median(x, na.rm = TRUE)))[is.na(df$value)] 

---

既然有這麼多的答案讓我們來看看這是最快的。

plyr2 <- function(df){ 
    medDF <- ddply(df,.(months),summarize,median=median(value,na.rm=TRUE)) 
df$value[is.na(df$value)] <- medDF$median[match(df$months,medDF$months)][is.na(df$value)] 
    df 
} 
library(plyr) 
library(data.table) 
DT <- data.table(df) 
setkey(DT, months) 


benchmark(ave = df$value[is.na(df$value)] <- 
    with(df, ave(value, months, 
       FUN = function(x) median(x, na.rm = TRUE)))[is.na(df$value)], 
      tapply = df$value[61:72] <- 
      with(df, tapply(value, months, median, na.rm=TRUE)), 
      sapply = df[61:72, 3] <- sapply(split(df[1:60, 3], df[1:60, 2]), median), 
      plyr = ddply(df, .(months), transform, 
         value=ifelse(is.na(value), median(value, na.rm=TRUE), value)), 
      plyr2 = plyr2(df), 
      data.table = DT[,value := ifelse(is.na(value), median(value, na.rm=TRUE), value), by=months], 
      order = "elapsed") 
     test replications elapsed relative user.self sys.self user.child sys.child 
3  sapply   100 0.209 1.000000  0.196 0.000   0   0 
1  ave   100 0.260 1.244019  0.244 0.000   0   0 
6 data.table   100 0.271 1.296651  0.264 0.000   0   0 
2  tapply   100 0.271 1.296651  0.256 0.000   0   0 
5  plyr2   100 1.675 8.014354  1.612 0.004   0   0 
4  plyr   100 2.075 9.928230  2.004 0.000   0   0 

我敢打賭，data.table是最快的。

[Matthew Dowle]此處定時的任務最多需要0.02秒（2.075/100）。 data.table認爲不重要。嘗試設置replications到1並改爲增加數據大小。或者計時最快的3次運行也是一種常見的經驗法則。在這些環節更詳細的討論：

• Evidence that data.table isn't always fastest
• 基準在Averaging column values for specific sections of data corresponding to other column values
• London R presentation, June 2012（幻燈片21爲首的 「其他」）
• A transform by group benchmark in an extreme case

Answer 2

這是使用plyr的一種方式，它是不是很漂亮，但我認爲這是你想要什麼：

library("plyr") 

# Make a separate dataframe with month as first column and median as second: 
medDF <- ddply(df,.(months),summarize,median=median(value,na.rm=TRUE)) 

# Replace `NA` values in `df$value` with medians from the second data frame 
# match() here ensures that the medians are entered in the correct elements. 
df$value[is.na(df$value)] <- medDF$median[match(df$months,medDF$months)][is.na(df$value)] 

Answer 3

要使用測試is.na功能：

df$value[is.na(df$value)] <- median(df$value, na.rm=TRUE) 

其說對於df$value爲NA的所有值，請將其替換爲右側。您需要na.rm=TRUE一塊否則median功能將由本月本月返回NA

做的，有很多選擇，但我認爲plyr具有最簡單的語法：

library(plyr) 
ddply(df, 
     .(months), 
     transform, 
     value=ifelse(is.na(value), median(value, na.rm=TRUE), value)) 

你也可以使用data.table 。如果你的數據很大，這是一個特別好的選擇：

library(data.table) 
DT <- data.table(df) 
setkey(DT, months) 

DT[,value := ifelse(is.na(value), median(value, na.rm=TRUE), value), by=months] 

還有很多其他的方法，但有兩個！

Answer 4

與基礎R堅持，你也可以嘗試以下方法：

medians = sapply(split(df[1:60, 3], df[1:60, 2]), median) 
df[61:72, 3] = medians 

Answer 5

這裏是最強大的解決方案我可以想到。它確保年份的正確排列，並且在您有多年缺失值的情況下，將正確計算以前所有月份的中位數。

# first, reshape your data so it is years by months: 
library(reshape2) 
tmp <- dcast(years ~ months, data=df) # convert data to years x months 
tmp <- tmp[order(tmp$years),]   # order years 
# now calculate the running median on each month 
library(caTools) 
# function to replace NA with rolling median 
tmpfun <- function(x) { 
    ifelse(is.na(x), runquantile(x, k=length(x), probs=0.5, align="right"), x) 
} 
# apply tmpfun to each column and convert back to data.frame 
tmpmed <- as.data.frame(lapply(tmp, tmpfun)) 
# reshape back to long and convert 'months' back to integer 
res <- melt(tmpmed, "years", variable.name="months") 
res$months <- as.integer(gsub("^X","",res$months)) 

Answer 6

還有另一種方法可以用dplyr來做到這一點。

如果你想與他們的中位數來替代所有列，這樣做：

library(dplyr) 
df %>% 
    mutate_all(~ifelse(is.na(.), median(., na.rm = TRUE), .)) 

如果要替換的列（如OP的榜樣「值」）的一個子集，這樣做：

df %>% 
    mutate_at(vars(value), ~ifelse(is.na(.), median(., na.rm = TRUE), .))