任何用於並行和分佈式任務的python庫？

Question

我正在尋找一個可以在幾臺服務器上分配任務的Python庫。該任務與單個機器中的subprocess庫可並行執行的任務類似。

我知道我可以爲此目的設置Hadoop系統。不過Hadoop的重量很重。就我而言，我想使用共享網絡磁盤來處理數據I/O，而且我不需要任何奇怪的故障恢復。在MapReduce的術語中，我只需要映射器，不需要聚合器或縮減器。

Python中的任何這樣的庫？謝謝！

Answer 1

嘗試使用celery。

芹菜是基於分佈式 消息傳遞的異步任務隊列/作業隊列。它專注於實時操作，但也支持 調度。

執行單元（稱爲任務）在單個或多個工作服務器上使用多處理，Eventlet或gevent在 上同時執行。任務可以異步執行（在後臺）或 同步執行（等待直到準備就緒）。