distributed-computing

3熱度

1回答

時候傳球屬性的Java我有與作爲一個屬性傳遞一個設置文件推出了Java應用程序如下： java -DpropertiesFile=/path/to/properties/settings.properties -jar /path/to/jar/file.jar 我想知道如何/如果我可以通過這個使用COMPSs框架運行我的應用程序時的屬性文件。謝謝

1熱度

1回答

你如何使用dask +爲NFS文件分發？

從Matthew Rocklin's post使用Dask分佈式數據框，我試圖分佈一些彙總統計計算我的集羣。使用dcluster ...設置羣集正常工作。在筆記本中， import dask.dataframe as dd from distributed import Executor, progress e = Executor('...:8786') df = dd.read_csv

0熱度

1回答

如何檢查在OpenMPI中使用哪些MCA參數？

在OpenMPI代碼庫中，每個模塊都有多個變體。撥打mpirun時，您可以從Modular Component Architecture (MCA)中選擇您想要使用的模塊。這些選項包括... 集體算法（COLL）：基本的，調諧，間，CUDA，毫升，SM，... 字節轉移層（BTL）：openib，TCP，.. 。點至點管理層（PML）：釐米，OB1，... 匹配傳輸層（MTL）：MXM，PSM，

1熱度

1回答

Apache Kafka：鏡像與複製

Mirroring正在Kafka集羣之間複製數據，而Replication用於複製Kafka集羣中的節點。 Replication是否有任何具體的用途，如果Mirroring已經設置？

3熱度

1回答

如何使用REST API和數據庫擴展Java應用程序？

我有一個典型的無狀態Java應用程序，它提供了一個REST API並在Postgresql數據庫中執行更新（CRUD）。但是客戶的數量在不斷增長，我覺得有必要增加冗餘，這樣，如果一個失敗，另一個發生爲此，我可能會需要一個負載均衡？通過不淹沒網絡和只有一臺服務器的CPU來提高響應速度（但是，負載平衡器如何不會被淹沒？）也許我需要分發數據庫？我希望能夠無縫更新我的應用程序（我已經看到了啄叫

0熱度

2回答

OpenCV - 如何在局域網中的單獨主機中處理視頻的每個幀？

我不得不嚴格處理視頻的每一幀來提取信息。爲了加速處理，我想在我的本地網絡中使用我所有的電腦。如何安裝允許在我的局域網的一個單獨主機中處理每個幀的分佈式系統？

1熱度

2回答

體積圖像數據的分佈式處理

爲了開發物體識別算法，我需要在大量體積圖像文件（MR掃描）上重複運行檢測程序。檢測程序是一個命令行工具。如果我在本地計算機上在單個文件上運行它，並且單線程大約需要10秒。處理結果被寫入文本文件。一個典型的運行將是： 10000圖像與300 MB每= 3TB 經10秒鐘的單核=十萬秒=約27小時我能做些什麼，以獲得結果更快？我可以訪問20個具有24個（虛擬）內核的服務器（Xeon E5,1TB

0熱度

1回答

如何羣集應用程序

如果以下問題已得到解答，或者如果它不夠具體，我很抱歉，我對羣集應用程序的主題完全陌生，因此我正在尋找一個起點。我的目標是編寫一個軟件，它將執行各種不同的任務，主要是在遠程服務器上啓動其他軟件。該軟件需要計算當前需要這些其他軟件的實例數量，然後必須以某種方式告訴遠程服務器啓動新的實例。雖然請求新實例的軟件不能不可用或崩潰，但這就是爲什麼我要將它分發到多個服務器上，然後協調這些實例同時工作並接管是

0熱度

2回答

MPI_Recv沒有收到所有的MPI_Send請求

我在我的代碼中有一個錯誤。我有多個進程處理來自二叉樹的數據。最後，他們應該將結果發送到將要處理結果的主節點（節點0）。但是，由於某些原因，某些MPI_Sends沒有收到。 int *output=(int*) malloc(sizeof(int)*(varNum+2)); //contains all variable values and maxSAT and assignNum if(pr

2熱度

1回答

在HPC羣集上使用Python多處理

我正在Windows HPC羣集上運行Python腳本。腳本中的函數使用multiprocessing包中的starmap來並行化某個計算密集型進程。當我在單個非羣集機器上運行腳本時，我獲得了預期的速度提升。當我登錄到節點並在本地運行腳本時，我獲得了預期的速度提升。但是，當作業管理器運行腳本時，從multiprocessing的速度提升要麼完全緩解，要麼有時甚至慢兩倍。我們已經注意到當調用sta