Hadoop post-hook和作業完成通知

Question

我想將Hadoop作業輸出導入到Hive表。我如何在map-reduce作業/流程中實現post-hook？或者其他任何自動化選項？

另外，我會在完成作業後發出通知，例如發送電子郵件給用戶。我發現這個：https://issues.apache.org/jira/browse/HADOOP-1111，但我不太明白怎麼做，因爲我是新的地圖縮減。

謝謝。

Answer 1

conf.set("mapreduce.job.end-notification.url","url")

會做。 url應該是http url，您將收到回調。

從的javadoc：

設置URI來按順序發送通知作業完成（成功/失敗）之後被調用。

uri可以包含2個特殊參數：$ jobId和$ jobStatus。那些如果存在的話，分別被作業的標識符和完成狀態所取代。

這通常由應用程序編寫者用異步方式實現Map-Reduce作業的鏈接。

請注意，較舊的hadoop版本使用job.end.notification.url。
它在較新的版本中被棄用，有利於mapreduce.job.end-notification.url。

參考mapred-default.xml#mapreduce.job.end-notification.url。