如何避免應用程序日誌中的Spark和Hive日誌

我想了解如何避免應用程序日誌中的Spark和Hive日誌。我的意思是spark和hive都使用log4j屬性文件。如何避免應用程序日誌中的Spark和Hive日誌

我已經按照我的應用程序配置了log4j.property文件，但是它也打印了Spark和配置單元控制檯日誌。我在HDFS環境中運行應用程序。

log4j.rootLogger=DEBUG,debugLog, SplLog 

log4j.appender.debugLog=org.apache.log4j.RollingFileAppender 
log4j.appender.debugLog.File=logs/Debug.log 
log4j.appender.debugLog.MaxFileSize=10MB 
log4j.appender.debugLog.MaxBackupIndex=10 
log4j.appender.debugLog.layout=org.apache.log4j.PatternLayout 
log4j.appender.debugLog.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1} - %m%n 
log4j.appender.debugLog.filter.f1=org.apache.log4j.varia.LevelRangeFilter 
log4j.appender.debugLog.filter.f1.LevelMax=DEBUG 
log4j.appender.debugLog.filter.f1.LevelMin=DEBUG 

log4j.appender.SplLog=org.apache.log4j.RollingFileAppender 
log4j.appender.SplLog.File=logs/AppSplCmd.log 
log4j.appender.SplLog.MaxFileSize=10MB 
log4j.appender.SplLog.MaxBackupIndex=10 
log4j.appender.SplLog.layout=org.apache.log4j.PatternLayout 
log4j.appender.SplLog.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1} - %m%n 
log4j.appender.SplLog.filter.f1=org.apache.log4j.varia.LevelRangeFilter 
log4j.appender.SplLog.filter.f1.LevelMax=FATAL 
log4j.appender.SplLog.filter.f1.LevelMin=INFO 

log4j.logger.debugLogger=DEBUG, debugLog 
log4j.additivity.debugLogger=false 

log4j.logger.AppSplLogger=INFO, SplLog 
log4j.additivity.AppSplLogger=false

來源

2015-02-12 Sachin Singh

怎麼樣你運行Spark工作？它在Spark Shell中嗎？從你的IDE？使用spark-submit（客戶端或集羣模式）？ – 2015-02-12 10:14:49

火花外殼使用火花提交（客戶端或集羣模式） – 2015-02-12 12:59:12

好的，所以你建立一個脂肪罐與你的課程和librairies。是否考慮了log4j.properties（創建Debug.log，AppSplCmd.log）？你把哪些庫放在Jar（mvn dependency：list或sbt）？ – 2015-02-12 13:31:06

擡起rootLogger級別：

log4j.rootLogger=WARN,debugLog,SplLog

或者至少，設置org.apache記錄的水平（沒有這個配置Spark和蜂巢記錄儀使用rootLogger配置）：

log4j.logger.org.apache=WARN

來源

2015-02-12 13:36:47

如何避免應用程序日誌中的Spark和Hive日誌

回答

相關問題