0
一旦我們堅持RDD在內存中,它會在內存中有多長時間?如果我們從火星殼出來,我們可以訪問相同的東西嗎?Apache Spark Rdd持續存在
一旦我們堅持RDD在內存中,它會在內存中有多長時間?如果我們從火星殼出來,我們可以訪問相同的東西嗎?Apache Spark Rdd持續存在
如果您脫離了shell,那麼您的RDD將不再可訪問或存儲在內存中,用於下一個spark-shell或任何其他進程的實例。
謝謝夥伴 :) –
最好的方法是查詢它並找出答案。 – Raghuveer
哦! gr8回答 –
RDD's被存儲爲spark執行器JVM中的反序列化java對象。只要JVM處於活動狀態並且在退出火花外殼時不再存在(即垃圾收集),它們就會繼續存在。 – BigDataScholar