1
從艱苦的經驗中,我發現它有助於偶爾將我的長計算狀態保存到磁盤以便稍後啓動它們有些失敗。我可以在R的分佈式計算包(如SNOW或多核)中執行此操作嗎?
由於主人以非透明的方式從奴隸收集東西,因此如何做到這一點似乎並不清楚。如何在使用SNOW(或多核或...)時保存計算狀態
從艱苦的經驗中,我發現它有助於偶爾將我的長計算狀態保存到磁盤以便稍後啓動它們有些失敗。我可以在R的分佈式計算包(如SNOW或多核)中執行此操作嗎?
由於主人以非透明的方式從奴隸收集東西,因此如何做到這一點似乎並不清楚。如何在使用SNOW(或多核或...)時保存計算狀態
這是(再次:-)一個很難。
您可以嘗試使用save()
或save.image()
轉儲節點上的快照。然後,您可以嘗試重新組織代碼,以便節點可以在最後一次快照之後恢復。
或者您可以嘗試重新組織您的工作流程,使節點'取票'並返回結果。這樣中心節點就可以監控所有事情,並且您可以在那裏記錄臨時結果。
無論哪種方式,你想要什麼都不是開箱即用(據我所知)。
你認爲如果我轉換到NWS我可以轉儲工作區每對*大量*迭代?即使我在多核上運行,我也可以通過RN流計數來檢索RNG狀態。 – 2010-04-14 16:10:00
但是,如果你從節點'回家',你會得到所有的通信開銷。這很難 - 但最終你要做出權衡。並且RNG狀態可以輕鬆轉儲。但是,例如在我提到的'票務'中,您可以爲每項任務提供主人的種子,然後您可以控制事物.... – 2010-04-14 16:28:36