將R軟件包發送到SparkR中的節點

您好我想知道是否有解決方案將R軟件包與一起發貨並在SparkR的計算節點上使用它們？將R軟件包發送到SparkR中的節點

您必須使用允許您定義IT基礎架構狀態的配置管理系統來安裝它們，然後自動執行正確的狀態，如木偶或廚師。 – eliasah

確實有可能，因爲可以通過'install.packages（「，repos = NULL）'安裝zip-packaged R包並將zip文件運送到YARN緩存（這是工作目錄或SparkR）。我找不到一個非常直接的方法，儘管希望有人跳過答案;） – zoltanctoth

將R包的內容壓縮並將其作爲my_package.zip發送到羣集，即spark-submit命令。這會將zip文件放入SparkR腳本的工作目錄中。

那麼您可以在[R腳本中安裝軟件包：

install.packages("my_package.zip",repos=NULL) 
library(my_package)

免責聲明：如果您的軟件包依賴於其他的包，你將需要運輸並手動安裝它們。

2015-09-19 16:18:04 zoltanctoth

你可以看看我的問題http://stackoverflow.com/questions/36001256/should-i-pre-install -cran-R-包上工人節點集羣時，使用-sparkr –

回答