2011-05-18 30 views
6

我已經花費在谷歌一段時間尋找一個排隊/負載均衡器包河[R的工作職位排隊/工作負載管理

我想實現:

  • 從執行多個獨立的海誓山盟ř從遠程前函數結束
  • 服用的2個雙核服務器優點爲R後端

明知:

  • 每個功能通常是在10到30秒
  • 每5分鐘的平均處理(但它可以在同一時間)的一組將要執行被髮送到後端8-15函數(排隊處理:先進先出)。 5分鐘是一個平均值,同時可以發送幾個集合
  • 2x2 R實例已經在運行,所需的軟件包被加載,它們總是相同的,所以不需要重新加載它們所有正在傳輸的數據的
  • 輸入量的時間非常低:50K最大

沒有代碼的並行主題在這裏(雪,降雪的foreach,禿鷹等traditionnal集羣解決方案)

你知道爲R設計的一個好的包/工具可以幫助嗎?

非常感謝!

+1

我不知道有任何東西存在。作爲一個起點,我會看看Redis + doRedis軟件包。 Resque是一個建立在Redis上的流行ruby隊列管理器(https://github.com/defunkt/resque)。 – Noah 2011-05-18 19:56:43

+0

嗨,諾亞,謝謝你的回答。據我所知,redis是一個可以被R以外的其他客戶訪問的數據庫,但是與非並行計算相比,MySQL有什麼優勢呢? – Sam 2011-05-19 08:30:44

回答

2

這聽起來像是使用RApache的合理上下文,它可以實例化幾個R實例和必要的包。