如何在Spark中串行處理兩個RDD？

Question

當我在Spark程序中觸及資源限制時，我想將處理分成迭代，並將每次迭代的結果上傳到HDFS，如下所示。

do something using first rdd 
upload the output to hdfs 

do something using second rdd 
upload the output to hdfs 

但據我所知，Spark會嘗試並行運行這兩個。在處理第二個rdd之前是否有辦法等待第一個rdd的處理？

Answer 1

有沒有辦法等待第一RDD的處理中，處理第二RDD

你有RDD之前，那麼爲什麼你需要等待並從磁盤重新讀取？

對RDD執行一些轉換，在第一個操作中寫入磁盤，然後繼續使用相同的RDD執行第二個操作。

Answer 2

我想我明白你在哪裏感到困惑。在單個RDD中，分區將相互平行運行。但是，兩個RDD將依次運行（除非您另行編碼）。