在分佈式集羣上運行python代碼

Question

我需要使用python並行地在5000個文件上運行一些numpy計算。我已經實現了順序單機版本。並行運行代碼的最簡單方法是什麼（比如使用ec2集羣）？我應該編寫自己的任務計劃程序和工作分配代碼嗎？

Answer 1

你可以看看pscheduler Python模塊。它將允許您排隊工作並按順序運行。併發進程的數量將取決於可用的CPU內核。該程序可以輕鬆擴展並將作業提交到遠程計算機，但這會要求所有遠程計算機使用NFS。

我很樂意爲您提供進一步的幫助。