在一個scala spark工作中，如何運行紗線，如何使工作失敗，紗線顯示失敗狀態

Question

我在scala spark作業代碼中有一個簡單的if語句，如果false我想停止工作並標記它失敗了。我希望紗線用戶界面以失敗的狀態顯示火花工作，但到目前爲止我所做的所有工作都已停止工作，但僅在紗線用戶界面上成功完成後才顯示。

if(someBoolen) { 
     //context.clearAllJobs() 
     //System.exit(-1) 
     //etc, nothing so far, stops the job and show as failed in the yarn UI 
    } 

任何幫助將是偉大的。

Answer 1

拋出異常（而不捕獲它）會導致進程失敗。

if(someBoolen) { 
    throw new Exception("Job failed"); 
}