rdd.checkpoint跳過火花作業

嗨我想運行一個長的sparkjob往往因StackoverflowError失敗。作業讀取parquetfile並在foreach循環中創建一個rdd。在做了一些研究之後，我認爲爲每個rdd創建一個檢查點將幫助我解決我的記憶問題。（我嘗試了不同的內存，開銷內存，並行操作，重新分區，並找到了工作中最有效的設置，但是有時它仍然會因爲我們集羣上的負載而失敗。）rdd.checkpoint跳過火花作業

現在來我真正的問題。我試圖創建檢查點，首先讀取創建RDD的parquet，然後緩存它，運行檢查點函數，然後首先調用操作以使檢查點發生。在我指定的路徑中沒有創建檢查點，並且它表示跳過舞臺的YARN UI。誰能幫我理解這個問題:)

ctx.getSparkContext().setCheckpointDir("/tmp/checkpoints"); 
    public static void writeHhidToCouchbase(DataFrameContext ctx, List<String> filePathsStrings) { 
    filePathsStrings 
     .forEach(filePath -> { 
      JavaPairRDD<String, String> rdd = 
       UidHhidPerDay.getParquetFromPath(ctx, filePath); 
      rdd.cache(); 
      rdd.checkpoint(); 
      rdd.first(); 
      rdd.foreachPartition(p -> { 
      CrumbsClient client = getClient(); 
      p.forEachRemaining(uids -> { 
       Crumbs crumbs = client.getAsync(uids._1) 
        .timeout(10, TimeUnit.SECONDS) 
        .toBlocking() 
        .first(); 
       String hHid = uids._2; 
       if (hHid != null) { 
       crumbs.getOrCreateSingletonCrumb(HouseholdCrumb.class).setHouseholdId(hHid); 
       client.putSync(crumbs); 
       } 
      }); 
      client.shutdown(); 
      }); 
     }); 
}

檢查點是在第一次迭代創建一次，但從來沒有一次。 KR

來源

2017-04-12 Smastik

不確定是否相關，但它看起來像調用'rdd.checkpoint（）'是多餘的，rdd沒有父譜系截斷。因此，這對內存使用不起作用。 – ImDarrenG

@ImDarrenG謝謝！你能告訴我如何在代碼中完成嗎？ – Smastik

你可以刪除對checkpoint（）的調用，它不會幫你。 – ImDarrenG

我的錯誤實際上是創建分區。我上面提到的「第一個」分區是一個內部有分區的目錄。由於目錄名稱像8f987639-d5c8-46b8-a1e0-37081f9f8e00我變得困惑。然而，從@ImDarrenG看到的血統評論給了我更多的見解。我從第一個緩存和檢查點創建了一個新的重新分區的RDD。這使得應用程序更穩定，沒有失敗。

JavaPairRDD<String, String> rdd = 
      UidHhidPerDay.getParquetFromPath(ctx, filePath); 
     rdd.cache(); 
     rdd.checkpoint(); 
     rdd.first(); 
     JavaPairRDD<String, String> rddToCompute = rdd.repartition(72); 
     rddToCompute.foreachPartition...

來源

2017-04-12 12:56:59 Smastik

很高興你發現了這個問題。如果沒有rdd.cache（），我會感興趣的看看它是否穩定。 rdd.checkpoint（）; rdd.first（）;但如果它沒有損壞 - 不要修復它！ – ImDarrenG

謝謝，它不穩定我總是會得到x nr的失敗任務foreachpartition :)，但現在我沒有得到:) – Smastik

rdd.checkpoint跳過火花作業

回答

相關問題