embarrassingly-parallel

    5熱度

    3回答

    我需要在Google Compute Engine上設置並運行「令人尷尬」的並行作業。我正在尋找工具來促進這一點。 在EC2上,我使用MIT的Starcluster來設置羣集,然後將作業提交給SGE。 Google Compute Engine還有類似的工具可用嗎? 如果沒有,我可能會手動設置Condor Cluster來完成這些工作。嗡嗡聲。

    1熱度

    1回答

    我有一個尷尬的並行工作,不需要工人之間的溝通。我正在嘗試使用dfeval函數,但開銷似乎非常巨大。要開始,我試圖從文檔中運行示例。 >> matlabpool open Starting matlabpool using the 'local' configuration ... connected to 8 labs. >> sched = findResource('scheduler',

    9熱度

    4回答

    我正在尋找一些東西,這將使它很容易在羣集上運行(正確編碼)令人尷尬的並行JVM代碼(以便我可以使用Clojure + Incanter)。 我已經使用並行Python過去做到這一點。我們有一個新的PBS集羣,我們的管理員很快就會設置使用PBS作爲後端的IPython節點。這兩個系統使得在集羣中運行某些類型的代碼幾乎毫不費力。 我在過去使用過Hadoop的錯誤(Hadoop不適合我使用的數據類型)

    1熱度

    1回答

    在令人尷尬的並行程序中使用GPU的缺點是什麼?

    1熱度

    1回答

    我試圖在PBS集羣上運行GNU Parallel的許多小型串行作業,每個計算節點有16個核心,因爲我打算使用多個計算節點,因此我將選項-S $ SERVERNAME傳遞給GNUParallel,但是讓我困惑的是是使用-S $SERVERNAME不等於我指定的就業人數時,我打算產卵超過9個工作啓動的節點上作業的數量,下面是我的意見: [[email protected] ~]$ parallel -

    10熱度

    4回答

    我有一個產生數字的函數(神經網絡模型)。我希望使用PBS在帶有Torque的標準集羣上測試幾個參數,方法和不同的輸入(意味着數百次函數運行)。 注意:我嘗試了parallelpython,ipython等,並且從來沒有完全滿意,因爲我想要簡單一些。該集羣處於一個我無法改變的給定配置中,這樣一個集成python + qsub的解決方案肯定會使社區受益。 爲了簡化問題,我有一個簡單的函數,例如: im