3
我們有來自kafka的spark流在HDFS服務器中創建檢查點，並且沒有清理乾淨，現在我們在HDFS中有數百萬個檢查點。有沒有辦法從火花自動清理它？Spark Streaming清理RDD檢查點目錄
星火1.6版 HDFS 2.70
A
回答
2
val conf = new SparkConf().set("spark.cleaner.referenceTracking.cleanCheckpoints", "true")
清洗不應該對所有檢查點自動完成，就必須圍繞讓他們跨過火花invocations.As星火流節省了中間狀態的數據集作爲檢查點並依靠它們從驅動器故障中恢復。
相關問題
- 1. Spark Streaming DStream元素vs RDD
- 2. Spark Streaming Empty RDD問題
- 3. Spark Streaming檢查點引發S3異常
- 4. Spark Streaming檢查點失敗後讀取
- 5. Spark無效的檢查點目錄
- 6. Spark - Rdd字符串清理/操作
- 7. Spark Streaming - Kafka- createStream - RDD到數據幀
- 8. 將Spark Streaming RDD推送到Neo4j -Scala
- 9. Spark Streaming中已處理的批次與RDD
- 10. 是否有可能從Spark-streaming檢查點恢復廣播值
- 11. Spark Streaming - 從檢查點重新開始重播上一批
- 12. Spark Kinesis流檢查點恢復：RDD空指針異常
- 13. Spark Streaming Multiple Streaming Jobs
- 14. RDD分區火花Streaming
- 15. Apache Spark RDD值查找
- 16. Array [Byte] Spark RDD to String Spark RDD
- 17. Spark-Streaming Kafka Direct Streaming API＆Parallelism
- 18. 使用Spark Streaming將rdd保存到Hbase時的java.io.NotSerializableException
- 19. 如何從Spark Streaming中的DStream中刪除RDD？
- 20. Spark Streaming textFileStream COPYING
- 21. Spark Twitter Streaming
- 22. Spark Streaming HiveContext NullPointerException
- 23. Spark Streaming，kafka：java.lang.StackOverflowError
- 24. Spark Streaming Flume Integration
- 25. Spark Scala Streaming CSV
- 26. Spark Streaming MYsql
- 27. Spark Streaming dropDuplicates
- 28. Spark Streaming JavaCustomReceiver
- 29. Spark Streaming Kafka java.lang.ClassNotFoundException：org.apache.kafka.common.serialization.StringDeserializer
- 30. apache spark Streaming error
謝謝，但我看到除檢查點以外的隨機數據，它沒有清除它，你有什麼想法是什麼？在上述問題中添加了一個圖像 – Sads
實際上，即使您設置了'--conf spark.cleaner.referenceTracking.cleanCheckpoints = True'，火花作業的最後一個檢查點也不會被清除。 – asmaier