如何更改執行者的日誌級別？

Question

由Spark執行程序執行的所有類的默認日誌記錄級別似乎爲INFO。我想根據需要將其更改爲DEBUG或WARN等。

我正在使用Spark Streaming 1.3.1，但很快就會切換到1.4。

我在提交星火串流工作的shell腳本以下行：

export SPARK_JAVA_OPTS="-Dlog4j.configuration=file:./log4j.properties" 

這讓我改變對司機運行的類的日誌記錄級別，而不是在執行者。

如何控制由執行程序運行的類的日誌記錄？

注意：我們沒有在紗線上運行。我們正在EC2上啓動我們自己的Spark羣集。

注意：理想情況下，我們想在Streaming進程仍在運行時更改日誌記錄級別。如果這是不可能的，至少我們應該能夠改變一些屬性文件。重新編譯代碼&重新部署不是一個選項。

Answer 1

tl; dr將conf/log4j.properties更改爲適當的級別並將文件分發給工作人員。

當您提交您的Spark應用程序時，您可能會有--files命令行選項對​​有一些好運。它可以讓你改變每個應用程序的日誌級別這只是一個猜測，因爲我還沒有嘗試過。