apache可以點燃共享RDD在嵌入模式下工作

Question

我真的很喜歡Apache Ignite的共享RDD for spark。但是，由於侷限性，我無法在羣集節點上部署點火。我可以使用Ignite的唯一方法是使用Spark通過嵌入模式。

我想知道，在嵌入模式下，RDD可以通過不同的Spark應用程序共享嗎？

我有兩個火花工作：

伯1：產生數據，並存儲到共享RDD 工作2：檢索來自共享RDD中的數據，並做一些計算。

這個任務可以使用ignite的嵌入模式來完成嗎？

由於

Answer 1

在嵌入模式的Ignite節點執行人爲根據火花的控制範圍內啓動。話雖如此，我認爲這種模式更適合測試目的 - 無需單獨部署和啓動Ignite，同時有能力嘗試基本功能。但是在實際情況下，要實現一致性和故障轉移保證是非常困難的，因爲Spark可以啓動和停止執行程序，這些執行程序在嵌入模式下實際上保存着數據。我會建議解決您的限制，並確保Ignite可以在獨立模式下單獨安裝。