2016-07-06 38 views
0

我想獲得一些關於我的火花過程的日誌。我假設一些帶有'groupByKey'的代碼花費了很多時間,但沒辦法檢查出來。 任何方式來檢查這個'groupByKey'函數如何在我的應用程序中流動?'groupByKey'點火過程跟蹤

回答

0

如果你要監視的流量最好的解決辦法是星火WEB UI:https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-webui.html

+0

我用它作爲監測過程中的一個,但並不滿足於此.. –

+0

您可以使用Log4j來代替。您可以通過將日誌放在代碼內的任何位置來跟蹤代碼。關於apache中的log4j有很多指南,可以在這裏引用! –

+0

我可以在我的函數中添加日誌打印,但不能在像'groupByKey'這樣的spark方法中執行。由於它並行工作,我無法弄清楚哪個對象和鍵在groupByKey方法上工作。 –