1
火花作業成功完成後，持續的Spark RDD會發生什麼？Spark Job完成後持續的RDD會發生什麼？
我們是否需要明確地編寫一些代碼以使其不符合要求？
或
不存在於每一堅持RDD unpersisting自動發生？
A
回答
2
我們需要明確地編寫一些代碼來unpersist呢？
是
是否unpersisting自動爲每個堅持RDD發生什麼呢？
沒有，你需要通過調用
RDD.unpersist()
或
df1.unpersist()
並做明確總是unpersist血統結束後的DF，涉及持久性/緩存DF最後一個動作後， 。
1
火花的官方文件說
火花自動監視每個節點上高速緩存的使用，並滴出在一個最近最少使用（LRU）方式的舊數據的分區。如果您想要手動刪除RDD而不是等待其從緩存中刪除，請使用RDD.unpersist（）方法。
請看看http://spark.apache.org/docs/latest/programming-guide.html#removing-data
相關問題
- 1. 在Spark Job Server中持久/共享RDD
- 2. onClick完成後會發生什麼。 Android
- 3. Apache Spark Rdd持續存在
- 4. 在動作之前UNION父rdd和子rdd會發生什麼？
- 5. Android，活動完成（）會發生什麼？
- 6. CompletableFuture未完成時會發生什麼？
- 7. 改造請求完成後會發生什麼？
- 8. Git克隆完成後會發生什麼？
- 9. 完成DNS更改後，舊重定向會發生什麼
- 10. 當下一個RDD實現時，以前的RDD會發生什麼？
- 11. 先發生什麼 - Symfony2持續存在
- 12. 會發生什麼成員
- 13. Spark中的RDD持久性
- 14. onDestroy（）後會發生什麼
- 15. Form.Close後會發生什麼？
- 16. EntityManager.persist（）後會發生什麼
- 17. netdev_open後會發生什麼？
- 18. * ngFor後會發生什麼？
- 19. Spark RDD動態密鑰生成器
- 20. 不完整的robots.txt，會發生什麼？
- 21. 什麼是持續集成？
- 22. 使用Task.Factory.StartNew時完成的任務會發生什麼
- 23. 設備上的調試完成後，iOS應用會發生什麼情況？
- 24. ASP.Net webservice中的多線程 - 主線程完成後會發生什麼？
- 25. Spark Launcher無法觸發Spark Job？
- 26. 如何從持續的RDD構建DStream？
- 27. Spark DataSet和RDD有什麼區別
- 28. 爲什麼Spark SQL UDF比RDD慢？
- 29. 如果客戶確認沒有完成會發生什麼？
- 30. 如果SQL作業沒有完成，會發生什麼？
是的，非常感謝您的乾淨答案。最後一次行動後，我將不執行我的DF。 –
@ sanket：如果我在Spark Job中只有一個Action，那麼堅持RDD是否是一個好習慣。如果堅持使用RDD，我在性能方面是否會獲得任何好處？ –