如何讓火花忽略缺少的輸入文件？

Question

我想在包含avro文件的一些生成的S3路徑上運行spark工作（spark v1.5.1）。我正在加載它們：

val avros = paths.map(p => sqlContext.read.avro(p)) 

雖然有些路徑不存在。我如何能夠忽略那些空洞的路徑？以前我使用過this answer，但我不確定如何在新的數據幀API中使用它。

注意：我理想的是尋找類似的方法來鏈接答案，只是使輸入路徑可選。我不是特別想要在S3中明確檢查路徑的存在（因爲這很麻煩並且可能會使開發變得笨拙），但是如果現在沒有乾淨的方法來實現這一點，我想這就是我的後備。

Answer 1

我會使用scala Try類型來處理在讀取avro文件目錄時出現故障的可能性。使用'嘗試'我們可以使我們的代碼中顯式失敗的可能性，並以功能方式處理：

object Main extends App { 

    import scala.util.{Success, Try} 
    import org.apache.spark.{SparkConf, SparkContext} 
    import com.databricks.spark.avro._ 

    val sc = new SparkContext(new SparkConf().setMaster("local[*]").setAppName("example")) 
    val sqlContext = new org.apache.spark.sql.SQLContext(sc) 

    //the first path exists, the second one doesn't 
    val paths = List("/data/1", "/data/2") 

    //Wrap the attempt to read the paths in a Try, then use collect to filter 
    //and map with a single partial function. 
    val avros = 
    paths 
     .map(p => Try(sqlContext.read.avro(p))) 
     .collect{ 
     case Success(df) => df 
     } 
    //Do whatever you want with your list of dataframes 
    avros.foreach{ df => 
    println(df.collect()) 
    } 
    sc.stop() 
}