如何強迫閒散人員同時兼任R？

Question

我是新來張貼在這裏 - 我搜索並找不到我的問題的答案。我在兩臺不同的機器上使用parallel軟件包運行以下R並行代碼（來自R中並行計算的blog），但仍得到非常不同的處理時間結果。第一臺機器是具有Windows 8，8GB RAM，Intel i7,2核/ 4個邏輯處理器的聯想筆記本電腦。第二臺機器是戴爾臺式機，Windows 7,16GB RAM，Intel i7,4核/ 8個邏輯處理器。代碼有時在第二臺機器上運行速度要慢得多。我相信原因是第二臺機器沒有使用工作節點來完成任務。當我使用snow包中的函數snow.time（）來檢查節點使用情況時，第一臺機器正在使用所有可用的工作人員來完成任務。但是，在功能更強大的機器上，它從不使用工人 - 整個任務由主人處理。爲什麼第一臺機器使用工人，但第二臺機器沒有完全相同的代碼？我如何「強制」第二臺機器使用可用的工人，以便代碼真正並行化並且處理時間加快了？這些答案可以幫助我完成我正在做的其他工作。提前致謝。從功能snow.time()的圖表低於還有我使用的代碼：

runs <- 1e7 
manyruns <- function(n) mean(unlist(lapply(X=1:(runs/4), FUN=onerun))) 

library(parallel) 
cores <- 4 
cl <- makeCluster(cores) 

# Send function to workers 
tobeignored <- clusterEvalQ(cl, { 
    onerun <- function(.){ # Function of no arguments 
     doors <- 1:3 
     prize.door <- sample(doors, size=1) 
     choice <- sample(doors, size=1) 
     if (choice==prize.door) return(0) else return(1) # Always switch 
    } 
    ; NULL 
}) 

# Send runs to the workers 
tobeignored <- clusterEvalQ(cl, {runs <- 1e7; NULL}) 
runtime <- snow.time(avg <- mean(unlist(clusterApply(cl=cl, x=rep(runs, 4), fun=manyruns)))) 
stopCluster(cl) 

plot(runtime) 

Answer 1

我不認爲有可能使用snow package中的snow.timing函數，同時從並行包中獲得所有其他函數。 R 3.2.3中的並行源有一些佔位符代碼用於計時，但它看起來不完整或與雪中的snow.timing函數兼容。我想你還是會從clusterApply得到正確的結果，而是由snow.time返回的對象將是相當於執行：

runtime <- snow.time(Sys.sleep(20)) 

如果你想使用snow.timing，我建議只裝雪，但你仍然可以訪問功能如使用語法parallel::detectCores()的detectCores。

我真的不知道爲什麼腳本偶爾會在桌面計算機上緩慢運行，但我認爲您並行化腳本的方式是合理和正確的。您可能需要在兩臺機器上依次測試manyruns，以排除兩個系統上隨機數生成代碼的差異。但也許這個問題是由一個系統服務引起的，這個系統服務正在減慢整個系統。

Answer 2

嘗試clusterApplyLB而不是clusterApply。 「LB」用於負載平衡。

非LB版本將節點之間的任務數量分開並將它們批量發送，但是如果一個節點提前結束，那麼它就會空閒等待其他節點。

LB版本向每個節點發送一個任務，然後觀察節點，並在節點完成時發送另一個任務到該節點，直到分配完所有任務。如果每個任務的時間差異很大，這會更有效，但如果所有任務的時間大致相同，則效率會更低。

還檢查R和並行的版本。如果我正確地記住了在Windows機器上不能並行執行的功能（但我沒有再看到這個註釋，所以在最近的版本中可能已經被修復），所以差異可能是不同版本的並行封裝。 parLapply函數沒有相同的問題，所以你可以重寫你的代碼來使用它，看看是否有所作爲。

Answer 3

我不能把代碼放在註釋中...我不明白你的程序很好。你創建了什麼樣的羣集？試試這個，調整2E6爲您任何的工作原理：

library(parallel) 
library(Rmpi) 
library(snow) 
cl <- makeMPIcluster(3) 
t <- system.time(parLapply(cl, 1:100, function(i) mean(rnorm(2e6)))) 
stopCluster(cl) 
print(t) 

對我來說，運行10秒（2核心/超線程/ 5Y的舊筆記本電腦/ Linux）的，所有的4名工人是100％繁忙。你也可以嘗試一下套接字集羣。