Apache Spark RDD和Java 8：異常處理

Question

如果我在使用Java 8和Spark迭代文件內容時遇到任何異常，我需要跳過該記錄。

我不想拋出異常，我只需要跳過該記錄並繼續其他記錄。

代碼示例：

JavaRDD<Model> fileRDD = sc.textFile("filePath") 
       .map(line -> { 
        try { 
        String[] parts = line.split("\\|"); 
        Long key = Long.parseLong(parts[0]; 
        return line; 
        } catch (NumberFormatException nfe) { 
         //if i throw RuntimeException, its working file 
         //but i dont want to throw exception, i want to just skip the line, 
         // how do i do it using java 8 stream methods 
        } 
       }); 

Answer 1

可以使用filter代替map：

JavaRDD<Model> fileRDD = sc.textFile("filePath") 
      .filter(line -> { 
       try { 
        String[] parts = line.split("\\|"); 
        Long key = Long.parseLong(parts[0]; 
        return true; 
       } catch (NumberFormatException nfe) { 
        return false; 
       } 
      }); 

Answer 2

String[] parts = line.split("|");

管道字符應該被轉義。

String[] parts = line.split("\\|");

參見：https://stackoverflow.com/a/9808719/3662739