我有很多簡單的可並行計算和很多(100s)的核心分佈在SSH + NFS網絡上。 什麼是最簡單的並行化方式。 問題是我不知道每個任務需要多長時間,所以我需要某種隊列。 有沒有很容易使用的東西?使用SSH和NFS進行羣集並行化的最簡單方法是什麼?
2
A
回答
1
Mincemeat.py是專爲此目的而設計的MapReduce的輕量級Python實現。啓動所有進程並不是一個簡單的方法(除非羣集上有像Condor這樣的東西),否則它應該適合您的需求。
1
你也可以看看mpssh & autossh。
http://www.mynitor.com/2010/08/16/top-50-ssh-helper-tools-omg/
相關問題
- 1. 使用Python進行SSH的最簡單方法是什麼?
- 2. 在可視化羣集之後對數據進行子集化的最簡單方法是什麼?
- 3. 使用TortoiseSVN進行分支和合並的最簡單方法是什麼?
- 4. 使用IPC與Python和C#進行通信的最簡單方法是什麼?
- 5. KNIME - 進行情緒分析的最簡單方法是什麼
- 6. 使用Windows Phone 7的WebRequest進行POST的最簡單方法是什麼?
- 7. 在java中並行化任務的最簡單方法是什麼?
- 8. 使用Web API進行身份驗證的最簡單方法是什麼?
- 9. 用python執行WHOIS協議最簡單的方法是什麼?
- 10. 使用管理員權限執行方法的最簡單方法是什麼?
- 11. 在Python中執行ssh和scp的最佳方法是什麼?
- 12. Django對查詢集進行子集化的最有效方法是什麼?
- 13. 用Python執行模塊化矩陣反演的最簡單方法是什麼?
- 14. 使用isdigit()和isalpha()命令最簡單的方法是什麼?
- 15. 在Ruby中執行XMLHttpRequest的最簡單方法是什麼?
- 16. 在Mac上運行IIS的最簡單方法是什麼?
- 17. 從命令行編譯IronPython的最簡單方法是什麼?
- 18. 在行上打印數組的最簡單方法是什麼?
- 19. 從Java中進行SURBL查找的簡單方法是什麼?
- 20. scipy集羣:在fcluster中使用哪種方法進行簡單分組?
- 21. 什麼是Linux上的pthreads之間進行通信的最簡單的方法
- 22. 用PHP執行平行事件最簡單的方法是什麼?
- 23. 什麼是在Visual Studio 2013中進行備份的最簡單方法?
- 24. 在Python列表上進行sort和uniq的最簡潔的方法是什麼?
- 25. 在DesignMode中編輯集合的最簡單方法是什麼?
- 26. 使用SSAS對簡單數據集羣進行聚類
- 27. C#:對目錄名進行排序並選擇最新的目錄名最簡單的方法是什麼?
- 28. 什麼是使用C#進行HttpWatch自動化的最佳方法?
- 29. 什麼是禁用給定postgresql數據庫集羣的簡單方法?
- 30. 聲音隨機化最簡單的方法是什麼