Google DataProc中的spark-shell和sparkR

Question

我對Google DataProc很新穎

我們想通過spark-shell或sparkR運行一組代碼用於測試目的。 是否可以連接到火花集羣和執行火花殼或sparkR在谷歌DataProc的命令？

我檢查了doc，似乎我們可以填寫火花提交作業，但我沒有找到引發殼或SparkR相關信息。

Answer 1

是。

火花外殼和sparkR對所有虛擬機安裝dataproc集羣中，您可以SSH到其中任何一個（我通常使用的主節點）和運行火花殼或sparkR。