火花使用log4j登錄到HDFS

Question

我有一個火花應用程序，有沒有辦法使用log4j登錄到HDFS沒有水槽appender？ （我不是專家，但因爲我沒有使用水槽看起來像一個矯枉過正登錄很多）

建議表示歡迎

Answer 1

所以，問題是，該日誌已被保存在HDFS，由絲聚合，你可以讓他們做

yarn logs --applicationId application_1441635924531_0065 | less 

其中的applicationID數出現在外殼上，當您啓動火花提交。