火花作業（oozie - 色調）卡在運行狀態

Question

我有一個spark工作將csv轉換爲實木複合地板。我試圖通過oozie工作流程在色相中運行它。這是包含單個步驟（火花程序）的最簡單的工作流程。

當我運行一個簡單的程序jar（比如hello spark types例子）時，它通過hue提交時工作正常。

但是當我有一個更大的jar（〜96 MB）時，作業會卡在運行狀態。 代碼沒有問題，因爲同一個jar在完全相同的環境下使用spark-submit進行完美工作，具有相同的條件 - 在客戶端模式下運行以簡化調試。

另外，通常情況下，如果存在某些異常或由於內存問題（連續的「心跳」信息日誌）而導致作業掛起，通常您可以查看日誌，但在這種情況下，我甚至無法查看日誌。當我手動殺死作業，仍然沒有日誌可訪問，它說：

找不到工作job_1481270830724_0007。

{ 「的RemoteException」：{ 「異常」： 「NotFoundException」， 「消息」： 「java.lang.Exception的： 工作，job_1481270830724_0007，是不是 發現」， 「javaClassName」：「org.apache.hadoop .yarn.webapp.NotFoundException「}} （error 404）

你能幫助讓我知道可能是什麼問題嗎？ 這是與分配給色相的內存有關嗎？

Answer 1

您使用的是哪個版本的Hue？我問的原因是Cloudera的JIRA中有一個錯誤。 Better handling of expired YARN apps

也許你應該升級Hue版本。