在eclipse上運行火花代碼，並在另一臺服務器上安裝火花

Question

我爲scala配置了eclipse，並創建了一個maven項目並在windows上編寫了一個簡單的字數spark工作。現在我的spark + hadoop安裝在linux服務器上。我怎樣才能啓動我的火花代碼從Eclipse到火花集羣（這是在Linux上）？

任何建議。

Answer 1

你在找什麼是創建SparkContext的主人。

您需要將您的主設備設置爲要使用的集羣。

我邀請您閱讀「Spark編程指南」或按照介紹性課程瞭解這些基本概念。 Spark不是您可以在一夜之間開始工作的工具，它需要一些時間。

http://spark.apache.org/docs/latest/programming-guide.html#initializing-spark

Answer 2

其實這個答案並非如此簡單，你所期望的。

我會做很多假設，首先您使用sbt，第二個是，你是在一個基於Linux的計算機工作，第三是最後的是，你有兩個classes在你的項目，讓我們說RunMe和Globals，以及最後的假設是你想要在程序中設置設置。因此，地方在你的可運行的代碼，你必須有這樣的事情：

object RunMe { 
    def main(args: Array[String]) { 
    val conf = new SparkConf() 
     .setMaster("mesos://master:5050") //If you use Mesos, and if your network resolves the hostname master to its IP. 
     .setAppName("my-app") 
     .set("spark.executor.memory", "10g") 
    val sc = new SparkContext(conf) 
    val sqlContext = new SQLContext() 

    //your code comes here 
    } 
} 

必須遵循的步驟如下：

• 編譯工程，在它的根，通過使用：

  $ sbt assembly

• 將作業發送到主節點，這是最有趣的部分（假設你有一個結構在您的項目target/scala/，並且在你裏面有一個文件.jar，對應於編譯的項目）

  $ spark-submit --class RunMe target/scala/app.jar

注意，因爲我認爲該項目有兩個或多個類，你將不得不找出哪一個類你想跑步。此外，我敢打賭，這兩種方法，對於Yarn和Mesos都非常相似。