如何禁用或爲apache spark客戶端驅動程序執行最少日誌記錄？

如何禁用或執行apache spark客戶端驅動程序的最小日誌記錄？通過驅動程序我指的是我初始化火花上下文的程序。它會產生大量的INFO消息，但是我想知道只有在出現錯誤或Exception（例如Nullpointer異常）等情況時纔會這樣。我也在使用火花獨立模式如何禁用或爲apache spark客戶端驅動程序執行最少日誌記錄？

來源

2016-10-06 user1870400

Apache Spark使用log4j。在CONF/log4j.properties，修改下面一行（S）與您所需的日誌記錄級別：

log4j.rootCategory=WARN, console  
log4j.logger.org.apache.spark.repl.Main=WARN

您可以在這裏找到更多的信息：http://spark.apache.org/docs/latest/configuration.html#configuring-logging

來源

2016-10-06 02:04:12

它們都被設置爲已WARN和驅動程序仍然產生INFO消息。 – user1870400

如果您使用Yarn運行，也許您可以嘗試使用「--files path/to/log4j.properties」選項顯式傳遞log4j.properties文件並提交。 –

我正在使用獨立模式，並且我沒有使用命令行提交作業。我只是調用我的驅動程序的public static void main（） – user1870400

javaSparkContext.setLogLevel("ERROR");

來源

2016-10-07 04:52:50 user1870400

如何禁用或爲apache spark客戶端驅動程序執行最少日誌記錄？

回答

相關問題