Spark應用程序log4j日誌文件未創建

Question

我正在運行一個spark應用程序。我的應用程序有一些日誌語句。

我想將日誌作爲文件存儲在Linux目錄中。

下面是我的log4j文件

當我運行火花的工作，它就會被啓動併成功完成，但日誌不會被保存爲文件，我看到一個目錄的日誌被創建內部/家/ Cloudera的。但我沒有看到omega.log創建

log4j.properties

# Set everything to be logged to the console 
log4j.rootCategory=INFO, console, file 
log4j.appender.console=org.apache.log4j.ConsoleAppender 
log4j.appender.console.target=System.err 
log4j.appender.console.layout=org.apache.log4j.PatternLayout 
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n 


# Direct log messages to a log file 
log4j.appender.file=org.apache.log4j.RollingFileAppender 
log4j.appender.file.File=/home/cloudera/logs/omega.log 
log4j.appender.file.MaxFileSize=10MB 
log4j.appender.file.MaxBackupIndex=10 
log4j.appender.file.layout=org.apache.log4j.PatternLayout 
log4j.appender.file.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n 

有人能幫助我在這個問題上？

Answer 1

你需要確保的/ home/Cloudera公司/日誌中的每個節點存在，那麼嘗試添加下一個屬性火花提交CMD

spark-submit 
    --master yarn-cluster 
    --files /path/to/log4j-spark.properties 
    --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j-spark.properties" 
    --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j-spark.properties" 
    ...