2017-05-25 32 views
2

是否有方法捕獲Oozie中的火花作業的控制檯輸出?我想在spark工作之後的下一個action節點中使用特定的打印值。通過Oozie工作流在Oozie中捕獲Spark Action Node的控制檯輸出作爲變量

我在想,我能有可能使用的${wf:actionData("action-id")["Variable"]}但似乎Oozie的不必捕獲火花動作節點輸出不像在殼牌的行動,你可以只使用echo "var=12345",然後調用WF的能力:actionData在oozie中用作整個工作流程中的Oozie變量。

我想要實現這一點,因爲我想打印可能數量的記錄處理並將其存儲爲oozie變量,並將其用於工作流中的下一個操作節點,而無需執行任何需要將數據存儲到外部的功能的工作流程,比如將它們保存在表格中,或者通過在Spark Scala程序中實現它們將它們存儲爲系統變量。

任何幫助將被徹底讚賞,因爲我仍然是一個新手火花程序員。非常感謝你。

回答

0

由於Spark動作不支持捕獲輸出,因此您必須將數據寫入HDFS文件。 This後解釋瞭如何從Spark做到這一點。