如何從運行Spark應用程序獲取聚合日誌

我有一個連續運行的Spark應用程序，它從Kafka讀取消息並執行一些處理。有沒有辦法獲得聚合的「應用程序日誌」？如何從運行Spark應用程序獲取聚合日誌

AFAIK，僅當SparkContext被銷燬時纔會發生日誌聚合。

2016-10-03 Jaya Shankar

你在YARN上運行嗎？你想在YARN的日誌？ –

是的阿倫。這裏是我的命令 -/usr/bin/spark-submit --master yarn --deploy-mode client --supervise --driver-memory 20G --executor-memory 20G --driver-class-path =/home/jvadisela /spark/guava-18.0.jar:/home/jay/spark/jackson-core-2.4.5.jar --class com.collectivei.datarollup.entry.Startup /home/jay/spark/Test-0.0.1- SNAPSHOT-jar-with-dependencies.jar –

它是一個流媒體應用程序嗎？ –

你有沒有試過標準的YARN命令日誌？

紗線日誌-applicationId some-id

來源

2016-10-05 16:35:55

如何從運行Spark應用程序獲取聚合日誌

回答

相關問題