parallel-processing

1熱度

1回答

R，有沒有什麼方法可以通過使用多個內核來創建termdocumentmatrix？

你好。是否有任何方式通過使用多核，並行處理來創建termdocumentmatrix？或者爲了獲得更快的結果，我可以使用一些軟件包，比如parallel，h2o或其他軟件包嗎？有人幫我。謝謝。

0熱度

1回答

我有一個Class，它在狀態中存儲一個大型的數組numpy。這導致multiprocessing.Pool變得非常緩慢。這裏有一個MRE： from multiprocessing import Pool import numpy import time from tqdm import tqdm class MP(object): def __init__(self, mat

0熱度

2回答

當預測與foreach並行的nnet輸出時發生R內存爆炸

我有一個（大）神經網絡正在R中的nnet包訓練。我想能夠模擬這個神經網絡的預測，並且在並行使用像foreach這樣的東西，我之前用過的成功（全部在Windows機器上）。我的代碼的基本形式 library(nnet) data = data.frame(out=c(0, 0.1, 0.4, 0.6), in1=c(1, 2, 3, 4), in2=c(10,

0熱度

1回答

pyomo和cplex用於混合整數線性編程的並行計算

我正在使用pyomo用於混合整數線性編程模型。我把pyomo稱爲pyomo來解決這個模型。我正在解決的問題很大，需要並行計算。我應該在pyomo中還是在cplex中設置並行？在pyomo中，我發現這個語法，但似乎不工作。 solver_manager = SolverManagerFactory('pyro') 如果在cplex中設置爲並行，如何修改此語法？添加一些調用並行計算的東西？ r

3熱度

2回答

Tensorflow - 是否可以手動確定圖形中的哪些張量轉到GPU和CPU？

我在Keras中創建了一個使用卷積和LSTM層的網絡。我讀過tensorflow不能在GPU處理好LSTM層：http://minimaxir.com/2017/07/cpu-or-gpu/ 事實上，我的網絡得到了在GPU慢（希望它不是一個進一步的問題）。我希望tensorflow將所有的卷積運算都扔到GPU上，但保留所有的LSTM操作到CPU中。那可能嗎？因此，考慮到我可以找到張量流圖並確定

2熱度

1回答

使用該系統運行多個存在的R腳本（）命令

我正在RStudio在Windows 7我寫了一個主腳本生成57個新的R腳本，每個運行基於兩個參數的函數命令： vector1 <- c(1:19) vector2 <- c(1:3) 首先，主腳本使用兩個for循環（使用索引「ABC」的向量1，一個一個使用索引「高清」爲vector2）產生在我的工作目錄每57個腳本採用以下文件名約定： run_inference_<<vector1[abc

0熱度

1回答

如何使用多個參數多處理for循環

我正在研究一個報廢代碼以從.aspx網頁抓取信息。我想檢索數據庫中的所有記錄，但我沒有記錄索引的列表。我只知道該索引是一個介於1到9000000之間的整數。因此，我正在考慮使用蠻力對索引使用for循環。我想從每條記錄中檢索某些信息。所以，我用beautifulsoup和pandas.DataFrame來存儲我想要的信息。然後，我追加數據框來收集記錄。例如： df_all = pandas.Da

2熱度

4回答

在組的任務

我描述了我的問題在一個簡單的例子，然後描述更貼近問題的並行執行。假設我們在box1中有n項[i1，i2，i3，i4，...，in]，並且我們有一個可以處理m個項目的box2（m通常遠小於n）。每個項目所需的時間是不同的。我希望在所有項目都進行之前，一直都在做m個工作項目。更加緊密的問題是，例如，您有一個包含n個字符串（URL地址）的文件列表1，我們希望系統具有m個文件併發下載（例如，通過http

1熱度

1回答

Node.js async.parallel，它是平行的嗎？

我知道該節點依賴於單個事件線程。所以沒有辦法讓它有並行線程。但是async.parallel確實提供了類似並行的功能。 Stack上的另一個問題意味着async.parallel正在使用process.nextTick。所以基本上async.parallel只是一個併發函數，而不是一個真正的並行函數？

0熱度

1回答

包裝並行代碼的方式比非包裝更慢

我對Julia相對較新，在嘗試平行化時遇到一些問題。我已經嘗試了pmap和@parallel兩種方法，並遇到同樣的問題。當我運行類似： addprocs(7) A0=zeros(a_size, b_size, c_size) A=SharedArray{Float64}(a_size,b_size,c_size) toler=1e-3 maxit=1000 while (metric