轉換到嵌套列表

假設我想從R data.table創建嵌套列表，如下面所述玩具例如：轉換到嵌套列表

library(data.table) 

generate_dt <- function(num_unique_id=100, rows_per_id=2) { 
    num_rows <- num_unique_id * rows_per_id 
    my_dt <- data.table(my_id=rep(seq(1, num_unique_id), rows_per_id), 
         y1=rnorm(num_rows), y2=rnorm(num_rows), y3=rnorm(num_rows), 
         z=runif(num_rows)) 
    setkey(my_dt, my_id) 
    return(my_dt) 
} 

## Suppose I want to go from my_dt to a nested list 
list_from_dt <- function(my_dt) { 
    num_unique_id <- length(unique(my_dt$my_id)) 
    my_list <- lapply(seq_len(num_unique_id), function(id) { 
     my_dt_subset <- my_dt[J(id)] 
     return(list(y=as.matrix(my_dt_subset[, c("y1", "y2", "y3"), with=FALSE]), 
        max_z=max(my_dt_subset$z))) 

    }) 
    stopifnot(is.matrix(my_list[[1]]$y)) 
    return(my_list) 
} 

my_dt <- generate_dt() 
my_list <- list_from_dt(my_dt) # Suppose I have some code that expects a nested list like this 

system.time(replicate(100, unused <- generate_dt())) # Fast, 0.062 elapsed 
system.time(replicate(100, unused <- list_from_dt(my_dt))) # Roughly 200 times slower (12.586 elapsed)

爲什麼創建嵌套列表，以便相對於創建數據錶慢？有沒有辦法加快我的list_from_dt功能？我認爲my_dt的查找速度相對較快，因爲它是由id控制的。在我的嵌套列表中爲矩陣分配大量零碎的內存塊是否會產生瓶頸？

來源

2016-08-29 Adrian

我的意思是，分割obj和計算彙總統計信息很慢並不奇怪，是嗎？也不是創建單個對象的速度很快。你可能對'lapply（split（...））'感興趣。 'split.data.table'函數在包的開發版本（1.9.7）上是高效的。 – Frank

@Frank謝謝你的指針，我會嘗試獲取data.table 1.9.7工作（我有1.9.6）。我並不感到驚訝的是，list_from_dt比較慢，但我感到驚訝的是速度有多慢。它沒有做太多的計算，只能複製數據。 – Adrian

這就是我與split和gmax看到：

f = function(){ 
    s = lapply(split(my_dt[, !"z", with=FALSE], by="my_id", keep.by=FALSE), as.matrix) 
    mz = my_dt[, max(z), by=my_id] 
    Map(list, ys = s, mz = mz$V1) 
} 

system.time(replicate(100, generate_dt()))   # 0.1 
system.time(replicate(100, list_from_dt(my_dt))) # 20.1 
system.time(replicate(100, f()))     # 2.1

它看起來像這樣：

> head(res, 2) 
$`1` 
$`1`$ys 
       y1   y2   y3 
[1,] -0.04493979 -1.01340856 0.08481358 
[2,] -0.75860610 0.04113645 -0.36270441 

$`1`$mz 
[1] 0.9362695 


$`2` 
$`2`$ys 
      y1   y2  y3 
[1,] 0.7718361 -0.8005803 1.2195464 
[2,] 0.1658420 -1.2846028 0.4607024 

$`2`$mz 
[1] 0.8551927

的數字，`1`和`2`是my_id值，現在作爲對列表中的元素名稱。

來源

2016-08-29 17:34:12 Frank

轉換到嵌套列表

回答

相關問題