0
我正在處理極大的數據集，所以我需要刪除任何中間數據幀。我如何確保從存儲器/磁盤刪除不需要的任何數據幀？刪除Pyspark Dataframe
A
回答
0
您應該使用spark.catalog.clearCache
https://spark.apache.org/docs/2.1.0/api/java/org/apache/spark/sql/catalog/Catalog.html
相關問題
- 1. 從PySpark DataFrame列中刪除元素
- 2. 使用PySpark刪除Dataframe的嵌套列
- 3. PySpark DataFrame reduce_by
- 4. pyspark RDD到DataFrame
- 5. toString數據Pyspark Dataframe
- 6. pyspark piplineRDD適合Dataframe列
- 7. Pyspark DataFrame有條件的組
- 8. RDD的pyspark行列表DataFrame
- 9. 在Pyspark Dataframe中選擇列
- 10. 更新pyspark的dataframe列
- 11. PySpark：將DataFrame列的值與另一個DataFrame列相匹配
- 12. pyspark其他DataFrame列名中的哪個DataFrame列名稱
- 13. 將Pandas Dataframe轉換爲Pyspark中的Spark Dataframe的TypeError
- 14. Pyspark DataFrame文本列上的UDF
- 15. PySpark：我需要重新緩存DataFrame嗎？
- 16. PySpark 2.0 DataFrame的大小或形狀
- 17. pyspark AttributeError：'DataFrame'對象沒有屬性'toDF'
- 18. Spark DataFrame組按照降序排列（pyspark）
- 19. 將RDD添加到DataFrame列PySpark
- 20. 計算PySpark DataFrame列的模式？
- 21. PySpark：迭代DataFrame中的小組
- 22. 與PySpark DataFrame一起使用datashader
- 23. 如何刪除Pyspark中的缺失值
- 24. Python Pandas - 主DataFrame，想要刪除所有列在較小的DataFrame
- 25. 使用List Comprehension（Pandas）從DataFrame列表中刪除DataFrame的列
- 26. 刪除Python中的重複項Pandas DataFrame不刪除重複項
- 27. 熊貓 - 刪除DataFrame的最後一列
- 28. Scala - 刪除Spark DataFrame的第一行
- 29. 如何刪除DataFrame的索引列？
- 30. 刪除第一個NaN後的DataFrame行
你有沒有嘗試設置參考無？ –