重複距離矩陣計算的高效（記憶方式）功能和超大距離矩陣的分塊

Question

我不知道是否有人可以看看下面的代碼和最小的例子，並提出改進建議 - 特別是關於工作時代碼的效率具有非常大的數據集。

該函數接受一個data.frame並將其拆分爲一個分組變量（factor），然後計算每個組中所有行的距離矩陣。

我不需要保留距離矩陣 - 只有一些統計數據，即均值，直方圖..，然後他們可以被丟棄。

我對存儲器分配等知之甚少，不知道怎麼做纔是最好的辦法，因爲我將每組處理10.000 - 100.000個案例。任何想法將不勝感激！

另外，如果遇到嚴重的內存問題，將大內存或其他大型數據處理軟件包包含到函數中會是最痛苦的方式嗎？

FactorDistances <- function(df) { 
    # df is the data frame where the first column is the grouping variable. 
    # find names and number of groups in df (in the example there are three:(2,3,4) 
    factor.names <- unique(df[1]) 
    n.factors <-length(unique(df$factor)) 
    # split df by factor into list - each subset dataframe is one list element 
    df.l<-list() 
    for (f in 1:n.factors) {df.l[[f]]<-df[which(df$factor==factor.names[f,]),]} 
    # use lapply to go through list and calculate distance matrix for each group 
    # this results in a new list where each element is a distance matrix 
    distances <- lapply (df.l, function(x) dist(x[,2:length(x)], method="minkowski", p=2)) 
    # again use lapply to get the mean distance for each group 
    means <- lapply (distances, mean) 
    rm(distances) 
    gc() 
    return(means) 
} 

df <- data.frame(cbind(factor=rep(2:4,2:4), rnorm(9), rnorm(9))) 
FactorDistances(df) 
# The result are three average euclidean distances between all pairs in each group 
# If a group has only one member, the value is NaN 

編輯：我編輯了標題，以反映分塊問題我張貼作爲一個答案..

Answer 1

我想出了一個塊的解決方案，那些特大型矩陣dist（）如果有其他人發現它有幫助（或者認爲它有問題，請！）。它比DIST（）顯著慢，但就是那種無關緊要的，因爲它應該永遠只能使用時DIST（）拋出一個錯誤 - 通常是下列之一：

"Error in double(N * (N - 1)/2) : vector size specified is too large" 
"Error: cannot allocate vector of size 6.0 Gb" 
"Error: negative length vectors are not allowed" 

的函數計算的平均距離對於矩陣，但你可以將其改變爲其他任何東西，但是如果你想實際保存矩陣，我相信某種類型的文件備份bigmemory矩陣是爲了..爲這個想法和阿里幫助他的榮譽link！

FunDistanceMatrixChunking <- function (df, blockSize=100){ 
    n <- nrow(df) 
    blocks <- n %/% blockSize 
    if((n %% blockSize) > 0)blocks <- blocks + 1 
    chunk.means <- matrix(NA, nrow=blocks*(blocks+1)/2, ncol= 2) 
    dex <- 1:blockSize 
    chunk <- 0 
    for(i in 1:blocks){  
    p <- dex + (i-1)*blockSize 
    lex <- (blockSize+1):(2*blockSize) 
    lex <- lex[p<= n] 
    p <- p[p<= n] 
    for(j in 1:blocks){ 
     q <- dex +(j-1)*blockSize 
     q <- q[q<=n]  
     if (i == j) {  
     chunk <- chunk+1 
     x <- dist(df[p,]) 
     chunk.means[chunk,] <- c(length(x), mean(x))} 
     if (i > j) { 
     chunk <- chunk+1 
     x <- as.matrix(dist(df[c(q,p),]))[lex,dex] 
     chunk.means[chunk,] <- c(length(x), mean(x))} 
    } 
    } 
    mean <- weighted.mean(chunk.means[,2], chunk.means[,1]) 
    return(mean) 
} 
df <- cbind(var1=rnorm(1000), var2=rnorm(1000)) 
mean(dist(df)) 
FunDistanceMatrixChunking(df, blockSize=100) 

不知道我是否應該已經張貼此作爲一個編輯，而不是答案。它確實解決了我的問題，但我真的不指定它這樣..

Answer 2

的一點想法：

• unique(df[1])可能工作（通過忽略data.frame財產你的名單），但讓我緊張，很難閱讀。 unique(df[,1])會更好。
• for (f in 1:n.factors) {df.l[[f]]<-df[which(df$factor==factor.names[f,]),]}可以用split完成。
• 如果您擔心內存，絕對不要存儲每個級別的整個距離矩陣，然後計算每個因子級別的總結統計數據！將你的樂器改成如下形式：lapply (df.l, function(x) mean(dist(x[,2:length(x)], method="minkowski", p=2)))。

如果你需要一個以上的彙總統計，同時計算並返回一個列表：

lapply (df.l, function(x) { 
    dmat <- dist(x[,2:length(x)], method="minkowski", p=2) 
    list(mean=mean(dmat), median=median(dmat)) 
}) 

看看是否能在任何地方得到你。如果沒有，你可能需要更專業化（避免lapply，存儲你的data.frames矩陣代替，等等）