0
我使用的是使用spark 1.6.0構建的Cloudera 5.8.3發行版。我通過oozie提交了一個Spark作業(它是作爲java動作提交的)火花歷史記錄服務器中沒有用於spark sql作業的SQL選項卡
我可以看到作業成功完成,並且還可以在Spark歷史記錄服務器(它也運行於Spark 1.6.0)上找到它。我還可以看到所有的執行者/應用程序/作業/階段/任務級別細節。
但是,我也知道spark爲火花數據框提供了更好的日誌記錄,但我沒有看到該選項卡。 這是我正在談論的視圖:
我不確定其他細節與此相關或在哪裏尋找。希望得到一些指示。
謝謝!
謝謝。我對此不確定,因爲我可以在1.6.0上看到它(在其他作業的同一個歷史記錄服務器上)以及通過zepplein啓動的本地歷史記錄服務器上。 –
我不確定。如果您使用的是官方的Spark軟件包,它僅在2.0.0以後纔可用。有些廠商可能會自行修補1.6.0 Spark。 – zsxwing