遠程向Azure HDInsight提交作業

我設置了Azure HDInsight Spark羣集。我想遠程發送作業到集羣：遠程向Azure HDInsight提交作業

import org.apache.spark.api.java.JavaSparkContext; 
import org.apache.spark.api.java.JavaRDD; 
import org.apache.spark.SparkConf; 

public class App 
{ 
    public static void main(String[] args) 
    { 
     SparkConf conf = new SparkConf().setAppName("App").setMaster("spark://12.34.56.78:7077"); 
     JavaSparkContext sc = new JavaSparkContext(conf); 
    } 
}

集羣在紗線模式下創建。 Spark工作人員的主人是「紗線客戶」。這將是可取的直接連接到主機名或IP地址。

這將是一個好方法嗎？

來源

2017-02-01 Tempest Dave

您可以使用Livy服務遠程提交作業。請reffer就如何做到這一點的文件是：https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-spark-livy-rest-interface

來源

2017-02-01 17:46:59 maxiluk

我想遠離Livy等解決方案。有沒有其他方法？如何將HDInsight羣集從YARN降級到Standalone（這樣我可以直接將作業發送到Spark主機）？ –

@TempestDave我不知道爲什麼要將HDInsight從羣集降級到獨立。並且可以通過手動將HDInsight重新配置爲獨立模式進行配置，但在Azure上沒有任何意義，因爲您創建的HDInsight適用於Azure VM的多實例，且不會更改。如果您想使用獨立的Hadoop/Spark，則可以手動將其安裝在Azure VM的單個實例上。 –

-1

回答對您的評論提交作業的另一種方式，你可以嘗試使用REST API Batch Job爲HDInsight星火，請參閱參考https://docs.microsoft.com/en-us/rest/api/hdinsightspark/hdinsight-spark-batch-job知道它。

來源

2017-02-02 08:00:46

這仍然使用LIVY。 – bearrito

遠程向Azure HDInsight提交作業

回答

相關問題