如何通過Powershell在HDInsight上提交Spark作業？

有沒有辦法通過Powershell在HDInsight上提交Spark作業？我知道它可以通過Azure Data Factory中的活動來完成，但是有沒有辦法將Python腳本提交到Powershell cmdlet的pinspark HDInsight？如何通過Powershell在HDInsight上提交Spark作業？

來源

2017-06-21 YuGagarin

據我所知，沒有Azure PowerShell命令可以做到這一點。

您可以使用Apache Spark REST API，該API用於將遠程作業提交到Azure HDInsight Spark羣集。請參閱此feedback。

HDInsight允許通過REST API使用 Livy遠程作業提交。它是Linux上最近發佈的Spark的一部分。 https://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-livy-rest-interface/

來源

2017-06-22 01:27:40

如何通過Powershell在HDInsight上提交Spark作業？

回答

相關問題