1. 首頁
  2. 問答
  3. 重用緩存的Spark RDD

重用緩存的Spark RDD

2017-01-18 103 views
1

Spark中是否有可能在另一個應用程序（或同一應用程序的另一個運行中）中重新使用緩存的RDD？重用緩存的Spark RDD

JavaRDD<ExampleClass> toCache = ... // transformations on the RDD 
toCache.cache();     // can this be reused somehow in another application or further runs?

來源

2017-01-18 D. Müller

回答

2

不，Spark RDD不能用於其他應用程序或其他應用程序。

您可以連接Spark，例如Hazelcast或Apache Ignite以將RDD保存在內存中。其他應用程序將有可能讀取保存在第一個應用程序的數據

來源

2017-01-18 14:29:11

+1

感謝您的快速和良好的答案！ –

相關問題

 相關問題