0
我想獲得一些關於我的火花過程的日誌。我假設一些帶有'groupByKey'的代碼花費了很多時間,但沒辦法檢查出來。 任何方式來檢查這個'groupByKey'函數如何在我的應用程序中流動?'groupByKey'點火過程跟蹤
我想獲得一些關於我的火花過程的日誌。我假設一些帶有'groupByKey'的代碼花費了很多時間,但沒辦法檢查出來。 任何方式來檢查這個'groupByKey'函數如何在我的應用程序中流動?'groupByKey'點火過程跟蹤
如果你要監視的流量最好的解決辦法是星火WEB UI:https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-webui.html
我用它作爲監測過程中的一個,但並不滿足於此.. –
您可以使用Log4j來代替。您可以通過將日誌放在代碼內的任何位置來跟蹤代碼。關於apache中的log4j有很多指南,可以在這裏引用! –
我可以在我的函數中添加日誌打印,但不能在像'groupByKey'這樣的spark方法中執行。由於它並行工作,我無法弄清楚哪個對象和鍵在groupByKey方法上工作。 –