如何執行火花應用程序日誌記錄

Question

如何在火花應用程序中使用日誌記錄？

問題是，火花代碼不會像寫入一樣執行，而是異步和優化，例如可能按不同的順序。

正如有人指出了我在這裏stylish spark dataset transformation 以下不應該工作/不一定按預期火花的優化查詢計劃：

logger.info("first") 
val first = df.someTransformation 
logger.info("second") 
val second = df.otherTransformation 

Answer 1

日誌語句在你的例子是不非常有意義。

我看到3種方式的日誌記錄：

a）如果你只是要記錄的你改造的「進步」，你在你的例子顯示，你必須經過申請一個動作（如撥打count()）您轉型，但這會導致使用火花UI不必要的計算

b）montior火花，並考慮設置，如spark.eventLog.enabled以持續輸出

C）的UDF/UDAFs裏面，你可以使用蓄電池，收集的日誌執行者並讓他們可以訪問驅動程序。