從客戶機提交的Spark

我們在linux平臺上實現了hadoop。我們使用scala spark來開發使用火花機器學習庫的模型。我只是使用notepad ++並創建* .scala文件並在數據節點上執行它們。我想知道我可以從本地機器（Windows機器）使用eclipce或Intellij IDE並連接到spark來測試scala spark腳本。從客戶機提交的Spark

來源

2017-04-20 Hasitha Indika Arumawadu

您可以使用基於瀏覽器的筆記本電腦，如ipython或專門用於測試腳本的jupyter（因爲它支持Scala）。但是，您需要按照以下說明將其連接到Hadoop Spark：http://blog.cloudera.com/blog/2014/08/how-to-use-ipython-notebook-with-apache-spark/

來源

2017-04-20 12:56:08 abhiieor

非常感謝您的回覆。我讀了一些名爲sparkmagic的東西，通過jupyter將客戶端機器的火花連接起來。我們可以使用jupyter將* .scala編譯爲jar文件。 –

從客戶機提交的Spark

回答

相關問題