無法看到星火GC登錄

我提交使用此我的jar文件：無法看到星火GC登錄

spark-submit \ 
--class Hello \ 
--master spark://master:7077 \ 
--num-executors 6 \ 
--conf spark.executor.extraJavaOptions="-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+UseCompressedOops" \ 
first.jar

你可以看到，我添加了-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+UseCompressedOops部分作爲官方文檔中建議。但是，當我在Web UI中查看奴隸的stdout和stderr時，我什麼都看不到垃圾收集。

log4j設置是否阻止顯示gc日誌？我的spark的conf目錄中只有log4j.properties.template文件。

有什麼不對的建議嗎？謝謝。

來源

2016-09-23 Allan Ruin

當您在環境下的Spark UI中查看時，您是否在那裏看到這些標誌？ –

是的，我可以在環境選項卡中看到這些標誌，我也檢查了從站中的「out」日誌，我可以看到從站正在使用這些標誌。所以我真的堅持這一點，整個互聯網只包含有關如何使用gc信息來優化火花的帖子... Orz –

你在Spark Executor日誌中看到了什麼？你看到普通的Spark的東西嗎？ –

根據https://databricks.com/blog/2015/05/28/tuning-java-garbage-collection-for-spark-applications.html - GC的日誌寫入： $SPARK_HOME/work/$app_id/$executor_id/stdout

嘗試配置您的火花的應用與設置此頁面上的建議，看看它是否工作正常。

來源

2017-07-27 17:41:52 RonK

無法看到星火GC登錄

回答

相關問題