Hadoop集羣上的R安裝

我在現有Hadoop集羣上設置R。到目前爲止，我已將R rms和相關庫軟件包安裝在羣集的一個節點（EDGE節點）部分中，並且按預期工作。 Rrpms安裝在羣集的所有服務器上，還是隻安裝在所有服務器上的庫目錄（本例中爲/usr/lib64/R/library）？Hadoop集羣上的R安裝

來源

2015-10-20 Baskar Jayakumar

你的目標是？ – piccolbo

目標是通過R shell _（rmr，rhive，rhdfs應該可訪問）執行hadoop MR作業。用戶只能登錄到EDGE節點。 –

對於rmr，您需要隨處安裝，對於rhdfs您不需要，對於rhive我不知道。安裝意味着R rms或同等和必要的依賴關係。就同步lib dirs而言，我嘗試了類似的方法來簡化rmr2的部署，但我們（客戶端和我一致）都拉住了插件，因爲它看起來非常脆弱（取決於所有庫是完全相同的）。它在一個非常受控制的環境中工作，但我們同步整個事情，而不僅僅是圖書館。

來源

2015-10-20 21:58:33 piccolbo

感謝Piccolbo。根據你的陳述「_but但我們同步整個事情，不僅僅是圖書館。」 - 你的意思是..所有的R核心rpms安裝在所有節點上，並且庫在所有節點上同步。是嗎？？ –

不確定你的意思是「核心」。我們只是在R_HOME下發布了整個子樹。您仍然可以在rmr2的0安裝分支中找到該原型（現在已過時）。 – piccolbo

我只是碰到一篇文章，解釋如何創建可移植的二進制文件：https：//pmelsted.wordpress.com/2015/10/14/building-binaries-for-bioinformatics/你也可以考慮這個http：///fumodibit.blogspot.com/2013/04/modifying-r-to-obtain-relocatable.html以獲得R_HOME的靈活性，這可能需要在羣集上部署 – piccolbo

Hadoop集羣上的R安裝

回答

相關問題