spark應用程序不會創建日誌文件

Question

我正在運行我的spark應用程序。我想用log4j記錄一些語句，並將其保存爲linux目錄中的文件。 當我運行spark工作時，它會啓動併成功完成。但我沒有看到job.log創建。下面的 是我的配置。

log4j.rootLogger=INFO, E 
log4j.appender.E=org.apache.log4j.DailyRollingFileAppender 
log4j.appender.E.DatePattern='.'yyyy-MM-dd 
log4j.appender.E.File=${SPARK_HOME}/statistic_log/job.log 
log4j.appender.E.layout=org.apache.log4j.PatternLayout 
log4j.appender.E.layout.ConversionPattern=%-d{yyyy-MM-dd HH:mm:ss} [%r] - [%p] %m%n 
log4j.appender.E.Append=true 
log4j.appender.E.Threshold=INFO 

我相信沒有權限問題。有人可以幫我嗎？

Answer 1

當提交我的火花應用程序時，應該列出我的log4j.properties到--conf的參數。否則火花將默認使用${SPARK_HOME}/conf/log4j.properties。在工作節點創建

--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/storage/statistical_data/resources/log4j.properties" 

Answer 2

你的日誌文件，如果你沒有在驅動程序中記錄任何的job.log不會存在於驅動程序。

找到你的工人日誌。