如何通過log4j的配置文件，在Windows上引發提交？

我試圖使用在windows啓動火花的工作。 Spark應用程序工作正常，沒有指定日誌選項。如何通過log4j的配置文件，在Windows上引發提交？

用下面--driver-java-options：

--driver-java-options "-Dlog4j.configuration=file:///d:/launch/log4j-spark.properties"

我得到的錯誤信息：

該系統找不到指定的路徑。

我試過很多的組合，但沒有運氣，請告知。下面

spark-submit --master local[*] --files D:\launch\log4j-spark.properties --jars D:\launch\spark-sql-kafka-0-10_2.10-2.1.0.jar \ 
--driver-java-options "-Dlog4j.configuration=file:///d:/launch/log4j-spark.properties" \ 
--class com.acheron.bi.pipeline.DataPipelineProcessor D:\launch\bi-master-pipeline-1.0-SNAPSHOT-jar-with-dependencies.jar 

--driver-java-options "-Dlog4j.configuration=file://./launch/log4j-spark.properties" \ 
--driver-java-options "-Dlog4j.configuration=log4j-spark.properties" \

是包含代碼

D:\launch>dir 
Volume in drive D is Data 
Volume Serial Number is 52DE-C096 

Directory of D:\launch 

10/20/2017 10:06 AM <DIR>   . 
10/20/2017 10:06 AM <DIR>   .. 
10/20/2017 09:46 AM  111,631,778 bi-master-pipeline-1.0-SNAPSHOT-jar-with-dependencies.jar 
10/20/2017 09:35 AM    1,394 event-win.yml 
10/20/2017 09:58 AM    483 log4j-spark.properties 
10/19/2017 01:19 PM    488 prod.env.properties 
09/07/2017 09:35 AM   232,649 spark-sql-kafka-0-10_2.10-2.1.0.jar 
       5 File(s) 111,866,792 bytes 
       2 Dir(s) 152,071,843,840 bytes free

來源

2017-10-20 Manjesh

你能告訴使用CMD的路徑？使用'dir'。這是爲了確保該文件是存在的（我在MacOS所以我要猜格式）。你可以試試'文件：/ d：/啓動/ log4j的，spark.properties'？ –

我更新目錄詳細資料和檔案的問題：/ d：/launch/log4j-spark.properties沒有幫助 – Manjesh

你能告訴用'火花submit'整個錯誤消息？ –

我能夠運行Windows cmd，併成功地用下面的命令，並與我的自定義my-log4j.properties啓動火花應用程序的文件夾。

如果你沒有在你的路徑log4j.properties你可以省略引號空格：

spark-submit.cmd --master local[*] --driver-java-options -Dlog4j.configuration=file:///c:/tools/spark-2.0.0-bin-hadoop2.7/bin/my-log4j.properties --class testjob.Main sparkjob.jar

來源

2017-10-21 10:18:17 VladoDemcak

如何通過log4j的配置文件，在Windows上引發提交？

回答

相關問題