如何通過Spark提交外部參數提交

Question

在我的應用程序中，我需要連接到數據庫，因此我需要在提交應用程序時傳遞IP地址和數據庫名稱。

我遞交了申請，如下所示：

./spark-submit --class class name --master spark://localhost:7077 \ 
--deploy-mode client /home/hadoop/myjar.jar 

Answer 1

如果檢查the official documentation你會看到​​有以下語法：

./bin/spark-submit \ 
    --class <main-class> 
    --master <master-url> \ 
    --deploy-mode <deploy-mode> \ 
    --conf <key>=<value> \ 
    ... # other options 
    <application-jar> \ 
    [application-arguments] 

您可以使用application-arguments和conf傳遞所需配置主要方法和SparkConf分別。

Answer 2

如前所述通過zero323可以使用從the link

./bin/spark-submit \ 
    --class <main-class> 
    --master <master-url> \ 
    --deploy-mode <deploy-mode> \ 
    --conf <key>=<value> \ 
    ... # other options 
    <application-jar> \ 
    [application-arguments] 

這裏火花提交命令，的conf用來傳遞其所需的像任何運行應用程序的星火相關CONFIGS （執行程序內存），或者如果您要覆蓋在Spark-default.conf中設置的默認屬性。

至於你的使用情況而言，你想通過IP的應用程序連接到數據庫，然後你可以使用[應用參數]它們的JAR後通過。

當您設置主要爲：

def main(args: Array[String]) 

然後你就可以接受任何作爲的.jar行後給出的參數。

請參考for more details