Spark：緩存RDD在另一個作業中使用

Question

我正在運行一個採用由前一個作業生成的輸入的spark作業。現在，作業將結果輸出到HDFS以供下一次讀入，有沒有辦法將每個作業的輸出緩存到spark中，以便下面的運行不必從HDFS中讀取？

更新：或者Spark能否在不同的應用程序之間共享RDD？

Answer 1

直接你不能做到這一點。但是，有幾個解決方案可以幫助你。

作爲@ morfious902002提到你可以使用Alluxio（但你需要將它安裝到你的集羣上），它提供了一種分層存儲（memory/hdfs/s3）。

另一種選擇是使用spark-jobserver或者持有相同spark的上下文，並通過REST API將您的作業提交給此服務器。由於所有工作都將在相同的長期生活環境下執行，因此您可以在作業之間共享RDD。

Answer 2

編輯：過期的

不，這不可能在應用程序之間共享RDD。

您必須將其保存在磁盤或數據庫中。