創建一個函數，用一個data.frame中的NAs替換另一個data.frame中的值

Question

我經常會遇到這樣的情況，我需要用data.frame中的缺失值替換其他data.frame中的值，這些值位於不同級別的聚合。所以，舉例來說，如果我有一個充滿縣數據的data.frame，我可能會用存儲在另一個data.frame中的狀態值替換NA值。寫完之後merge ... ifelse(is.na()) yada yada幾十次我決定分解並編寫一個函數來做到這一點。

這就是我與我如何使用它的一個例子熟了起來，沿着：

fillNaDf <- function(naDf, fillDf, mergeCols, fillCols){ 
mergedDf <- merge(naDf, fillDf, by=mergeCols) 
for (col in fillCols){ 
    colWithNas <- mergedDf[[paste(col, "x", sep=".")]] 
    colWithOutNas <- mergedDf[[paste(col, "y", sep=".")]] 
    k <- which(is.na(colWithNas)) 
    colWithNas[k] <- colWithOutNas[k] 
    mergedDf[col] <- colWithNas 
    mergedDf[[paste(col, "x", sep=".")]] <- NULL 
    mergedDf[[paste(col, "y", sep=".")]] <- NULL 
} 
return(mergedDf) 
} 

## test case 
fillDf <- data.frame(a = c(1,2,1,2), b = c(3,3,4,4) ,f = c(100,200, 300, 400), g = c(11, 12, 13, 14)) 
naDf <- data.frame(a = sample(c(1,2), 100, rep=TRUE), b = sample(c(3,4), 100, rep=TRUE), f = sample(c(0,NA), 100, rep=TRUE), g = sample(c(0,NA), 200, rep=TRUE)) 
fillNaDf(naDf, fillDf, mergeCols=c("a","b"), fillCols=c("f","g")) 

所以之後我得到這個運行我有這種奇怪的感覺，有人可能已經在我面前，並在解決了這個問題更優雅的方式。這個問題有更好/更簡單/更快的解決方案嗎？另外，有沒有一種方法可以消除函數中間的循環？那個循環在那裏，因爲我經常替換多個列中的NAs。而且，是的，該函數假定我們填寫的列從被命名爲相同，我們填充的列爲至，這同樣適用於合併。

任何指導或重構都會有幫助。

EDIT上12月02日我意識到邏輯缺陷在我的例子，我固定。

Answer 1

真是個好問題。

這裏有一個data.table解決方案：

# Convert data.frames to data.tables (i.e. data.frames with extra powers;) 
library(data.table) 
fillDT <- data.table(fillDf, key=c("a", "b")) 
naDT <- data.table(naDf, key=c("a", "b")) 


# Merge data.tables, based on their keys (columns a & b) 
outDT <- naDT[fillDT]  
#  a b f g f.1 g.1 
# [1,] 1 3 NA 0 100 11 
# [2,] 1 3 NA NA 100 11 
# [3,] 1 3 NA 0 100 11 
# [4,] 1 3 0 0 100 11 
# [5,] 1 3 0 NA 100 11 
# First 5 rows of 200 printed. 

# In outDT[i, j], on the following two lines 
# -- i is a Boolean vector indicating which rows will be operated on 
# -- j is an expression saying "(sub)assign from right column (e.g. f.1) to 
#  left column (e.g. f) 
outDT[is.na(f), f:=f.1] 
outDT[is.na(g), g:=g.1] 

# Just keep the four columns ultimately needed 
outDT <- outDT[,list(a,b,g,f)] 
#  a b g f 
# [1,] 1 3 0 0 
# [2,] 1 3 11 0 
# [3,] 1 3 0 0 
# [4,] 1 3 11 0 
# [5,] 1 3 11 0 
# First 5 rows of 200 printed. 

Answer 2

這是你的方法稍微更簡潔/可靠的版本。您可以通過致電lapply替換for循環，但我發現循環更易於閱讀。

此函數假設任何列而不是在mergeCols是公平的遊戲以填補他們的NAs。我不確定這有幫助，但我會把我的機會與選民。

fillNaDf.ju <- function(naDf, fillDf, mergeCols) { 
    mergedDf <- merge(fillDf, naDf, by=mergeCols, suffixes=c(".fill","")) 
    dataCols <- setdiff(names(naDf),mergeCols) 
    # loop over all columns we didn't merge by 
    for(col in dataCols) { 
    rows <- is.na(mergedDf[,col]) 
    # skip this column if it doesn't contain any NAs 
    if(!any(rows)) next 
    rows <- which(rows) 
    # replace NAs with values from fillDf 
    mergedDf[rows,col] <- mergedDf[rows,paste(col,"fill",sep=".")] 
    } 
    # don't return ".fill" columns 
    mergedDf[,names(naDf)] 
} 

Answer 3

我更傾向於將退出從合併，做匹配的代碼，做我自己，這樣我可以保持原有數據幀的順序不變，無論按行和列明智的。我也使用矩陣索引來避免任何循環，儘管如此，我用修改後的fillCols創建了一個新的數據框，並用它替換了原始的列;我想我可以直接填寫它，但顯然你不能使用矩陣排序來替換data.frame的一部分，所以如果在某些情況下，名稱上的循環會更快，我不會感到驚訝。

隨着矩陣索引：

fillNaDf <- function(naDf, fillDf, mergeCols, fillCols) { 
    fillB <- do.call(paste, c(fillDf[, mergeCols, drop = FALSE], sep="\r")) 
    naB <- do.call(paste, c(naDf[, mergeCols, drop = FALSE], sep="\r")) 
    na.ind <- is.na(naDf[,fillCols]) 
    fill.ind <- cbind(match(naB, fillB)[row(na.ind)[na.ind]], col(na.ind)[na.ind]) 
    naX <- naDf[,fillCols] 
    fillX <- fillDf[,fillCols] 
    naX[na.ind] <- fillX[fill.ind] 
    naDf[,colnames(naX)] <- naX 
    naDf 
} 

隨着循環：

fillNaDf2 <- function(naDf, fillDf, mergeCols, fillCols) { 
    fillB <- do.call(paste, c(fillDf[, mergeCols, drop = FALSE], sep="\r")) 
    naB <- do.call(paste, c(naDf[, mergeCols, drop = FALSE], sep="\r")) 
    m <- match(naB, fillB) 
    for(col in fillCols) { 
    fix <- which(is.na(naDf[,col])) 
    naDf[fix, col] <- fillDf[m[fix],col] 
    } 
    naDf 
}