Mark Spark Job在紗線UI中失敗

Question

該應用程序是複雜生態系統的一部分，我們使用Yarn Rest Api來跟蹤所有作業的狀態。

現在對於某些特定的業務場景，我們需要將Spark Job標記爲失敗，但由於Spark工作中的錯誤/異常或System.exit（123）作業無法提供，因此我陷入了困境被標記爲紗線成品，最終狀態成功。

使用spark-submit使用jar激發火花作業。

object Execute { 
def main(args: Array[String]) { 
    val sc = new SparkContext(sparkConf) 
    if(businessException needs to be raised) 
     //What to do??? 
} 
} 

事情我已經試過在火花的工作：

• 拋出新的錯誤（ 「什麼」）
• 拋出新的異常（ 「什麼」）
• System.exit（123）
• sys.exit（123）

希望有人能告訴我怎麼標記在紗線UI中失敗。

Answer 1

沒關係。 Yarn的火花應用報告不穩定，從Jira上的多個錯誤中可以看出，這表明Yarn有時會將成功的火花作業標記爲失敗，反之亦然。

我結束了自己的數據庫表，以跟蹤結果最終狀態（錯誤，成功等），這是從火花作業更新，取決於條件。