snow

    0熱度

    1回答

    我想使用snow::clusterApply並行應用功能。我的函數在函數的一部分中使用臨時(預定義)種子,但通常應保持獨立的隨機數。每個「工作」都有不同的臨時種子。 我可以做到以下幾點: # setting up cluster of type="SOCK" library(snow) cl <- makeSOCKcluster(2) # this is my function myfu

    8熱度

    2回答

    我使用的是doSNOW包,更具體地說是parLapply函數對大柵格數據集(操作系統:Windows x64)列表執行重分類(以及後續的其他操作)。 代碼看起來有點像這樣簡約的例子: library(raster) library(doSNOW) #create list containing test rasters x <- raster(ncol=10980,nrow=10900)

    1熱度

    1回答

    我正在Windows機器上運行一個帶有雪後端的foreach循環。我有8個內核可以使用。 rscript通過嵌入在python腳本中的系統調用來執行,因此也會有一個活動的python實例。 沒有任何好處,沒有#workers =#內核,而是#workers < #cores所以總是有系統進程或python實例的開頭? 它成功運行#workers =#cores,但是通過使用r工作器實例來飽和內核(

    1熱度

    3回答

    我試圖在本地主機上完美工作並行運行R.現在我想切換到多節點設置並在同一網絡中創建多個虛擬機。然而,當我試圖設置羣集時,出現以下錯誤: Error in socketConnection(master, port = port, blocking = TRUE, open = "a+b", : cannot open the connection Calls: <Anonymous> ... d

    1熱度

    1回答

    我有一個大的循環,將花費太長時間(〜100天)。我希望能夠通過雪庫加快速度,但我並不擅長應用報表。這只是循環的一部分,但如果我能把這部分弄清楚,其餘部分應該是直截了當的。我可以用一堆apply語句或循環,但是使用函數來獲取對象'p'的應用語句將是理想的。 原始數據 dim(m1) == x x # x >>> 0 dim(m2) == y x # y >>> 0, y > x, y > x-10

    0熱度

    1回答

    我有一個函數,我動態地建立多個公式作爲字符串,並將它們投射到公式爲as.formula。然後我使用doSNOW和foreach以並行處理的方式調用該函數,並通過dplyr::mutate_使用這些公式。 當我使用lapply(formula_list, as.formula)時,在並行運行時出現錯誤could not find function *custom_function*,但在本地運行時工

    0熱度

    1回答

    我在集羣計算機上運行蒙特卡羅模擬,其中snow和R。一切順利,直到R打到stopCluster的行,其中R凍結,最後超過了掛牆時間。我沒有看到stopCluster的問題。 以下是簡化版本我的R腳本。 simu <- function(rep_worker, n_used) { theta_simu <- c() for (i in 1 : rep_worker) {

    2熱度

    2回答

    我正在處理大型光柵堆棧,我需要重新採樣並剪輯它們。 我讀的TIFF文件列表,並創建堆棧: files <- list.files(path=".", pattern="tif", all.files=FALSE, full.names=TRUE) s <- stack(files) r <- raster("raster.tif") s_re <- resample(s, r,method=

    1熱度

    2回答

    假設我想以並行方式將myfunction應用於myDataFrame的每一行。假設otherDataFrame是具有兩列的數據幀:COLUNM1_odf和COLUMN2_odf由於某些原因在myfunction中使用。所以,我想編寫使用parApply這樣的代碼: clus <- makeCluster(4) clusterExport(clus, list("myfunction","%>%"

    2熱度

    1回答

    在R中使用tm包和並行計算時,我遇到了一個問題,我不確定我是在做一些愚蠢的事情還是它是一個錯誤。 我創建了一個小型可重複的例子: # Load the libraries library(tm) library(snow) # Create a Document Term Matrix test_sentence = c("this is a test", "this is anothe