在IntelliJ IDE中配置Scala腳本，通過spark-submit運行一個spark獨立腳本

Question

我想運行一個獨立的Spark腳本，我已經使用sbt package命令編譯過。我如何設置Scala腳本的正確配置以在IntelliJ IDE中運行我的腳本？目前我使用的命令行使用以下命令來運行它（但我想在的IntelliJ運行，以進一步調試，例如）：

~/spark-1.2.0/bin/spark-submit --class "CoinPipe" target/scala-2.10/coinpipe_2.10-1.0.jar /training/data/dir 7 12

貝婁是我想要的快照要做到：

Answer 1

請嘗試以下步驟：

1. 安裝SBT插件：轉到文件 - >設置 - >插件 - >安裝的IntelliJ插件 - >搜索SBT並安裝它。
2. 安裝sbt插件後，重新啓動intellij並啓動新的Scala sbt項目（文件 - >新建項目 - > Scala - > SBT）。
3. 現在打開build.sbt文件並添加所有依賴項。
4. 現在在src - > main - > scala中創建一個新的Scala類並輸入你的代碼。
5. 右鍵點擊並運行。

注：你可能要重新啓動的IntelliJ有時得到的依賴從build.sbt文件拉動。

Answer 2

您可以將spark-submit設置爲External Tool。但它不會在運行菜單中。