遠程運行火花作業

試圖運行啓動Spark作業。遠程運行火花作業

Spark作爲Cloudera Hadoop中的包裹安裝。

如何使用Java API遠程啓動Spark作業？

2014-09-02 mgurov

你的意思是「啓動Spark作業遠程」？通過SSH連接到您的Spark Cluster並調用spark-submit腳本不夠嗎？你可以通過編程來完成相同的步驟！ – emecas 2014-09-14 12:07:28

我在其他主機的主機「A」和CDH羣集上有一些Web服務。我想通過服務器「A」中的某些API運行作業，而不使用spark-submit命令。有可能的？ – mgurov 2014-09-15 09:33:15

看起來像你需要https://github.com/spark-jobserver/spark-jobserver – 2015-02-02 22:26:41

-1

檢查從以下網址火花主主機名的火花集羣：如果運行良好去機器從要啓動作業（>>這款機器還應該安裝了火花庫提交作業並）從你的機器打這個命令火花提交--class --jars --master火花：//：7077的.jar

2015-03-09 01:08:55 hnahak

從代碼編程提交申請星火，而不是使用提交腳本，您將需要創建一個SparkContext。

這裏是Java API SparkContext

要進一步配置的情況下你提供給它一個SparkConf相匹配的配置頁面上輸入該值：Configuration

您的羣集需要你的代碼的副本將在其類路徑中提交給它。有多種方法可以執行此操作，您可以手動在集羣上管理它，或者使用setJars方法將它傳遞到SparkConf。

從Spark 1.3.1開始，每個JVM一次只能創建1 SparkContext。所以如果你想從同一個JVM提交併發應用程序，你需要正確地管理這個共享資源。

2015-04-22 20:57:57 Rich

回答