2016-02-15 157 views
1

我正在使用Apache Spark,現在我想更多地瞭解異常處理。Apache Spark異常處理

我的情況是我有一個相當複雜的過程,最後我做了一個動作。

很顯然,我需要處理異常的過程當中,所以只是在最後,所以基本上也當我做喜歡的地圖,flatMap等改造......

我將如何去處理異常?提示將不勝感激。

回答

0

一種方法是使用盡量

rdd.map({ 
    Try(fn) match{ 
case Success: _ 
case Failure:<<Record with error flag>> 
}).filter(record.errorflag==null) 

不幸的是,有數據幀/集API來做到這一點沒有更簡單的方法。在所有數據框操作中應該有一種方法來推送異常處理程序,如select,group by等。在流水線期間正常處理與數據有關的錯誤。 看到這個Row level exception handling in Apache Spark DataFrame/Set