嵌套樂譜表現，如何優化？

Question

我有一個data.frames的列表。在每個data.frame中，我想通過分組（z）運行一個函數，將結果放回到一起，然後將嵌套的lapply的所有結果放在一起放入一個data.frame中，然後將結果列表展平data.frame s變成一個data.frame。

library(plyr) 
df <- data.frame(x = sample(1:200, 30000, replace = TRUE), 
       y = sample(1:200, 30000, replace = TRUE), 
       z = sample(LETTERS, 30000, replace = TRUE)) 

alist <- list(df,df,df) # longer in real life 
answer <- lapply(alist, function(q) { 
    a <- split(q,q$z) 
    result.1 <- lapply(a, function(w) { 
     neww <- cbind(w[,1],w[,2]) 
     result.2 <- colSums(neww) 
    }) 
    ldply(result.1) 
}) 
# cor(neww) can actually be a variey of foos I just use cor() for easy reproducibility 
ldply(answer) 

這有一些非常艱難的內存使用，也很慢。由於@Andrie我知道如何清除我的工作區之前，我開始喜歡：

rm(list=setdiff(ls(), "alist")) 

但有修改我的做法就像在第二lapply等廢棄，另外添購w儘量減少內存使用和速度的東西了呢？在這種情況下foo喜歡矩陣，所以data.table不會是我的答案。在其他foo的I將所有需要w和類將需要一個data.frame

Answer 1

試試像這樣：

ldply(alist, ddply, "z", summarize, xy.foo = foo(x, y)) 

如果你想x和y在您的最終data.frame展現出來，替換summarize與transform。另外，查看foo的用法，您可能需要用cbind(x, y)替換(x, y)。

此外，我會建議你剖析你的代碼。最後，foo可能會降低你的速度，而不是分割/合併部分。

Answer 2

你爲什麼不使用來自plyrddply和llply但只有ldply？

# Note: @Flodel has a very nice, simple one-line plyr solution 
# Please use that. 
out <- ldply(alist, function(q) { 
    ddply(q, .(z), function(w) { 
     neww <- w[, -3] 
     result.2 <- colSums(neww) # dummy function 
    }) 
}) 

第一ldply經過一個列表alist一個的元素。因此，每個時間q因此包含在list的每個元素中的data.frame。然後，在這裏，我們想分割z。由於輸入是q是data.frame並且輸出也應該是data.frame我們使用ddply而第二個參數.(z)分裂爲z。在這裏，你做你的計算，返回任何你想要的（在這種情況下爲colSums）。 ldply返回爲data.frame。

Data.table方案：一種替代快速的解決辦法是使用該組合data.frame一個data.table可以實現如下（什麼@Roland在他的評論中提到一樣）：

require(data.table) 
# for creating a group 
group <- vapply(alist, nrow, integer(1)) 
dt <- data.table(do.call(rbind, alist)) 
# create group 
dt[ , grp := rep(1:3, group)] 
setkey(dt, "grp", "z") 
# call your function (here column means) 
dt[, lapply(.SD, mean), by="grp,z"] 
# or if its correlation 
dt[, list(cor_x_y = cor(x,y)), by="grp,z"]