Q

如何檢查Spark中緩存數據幀/ rdds /表的列表？

2017-04-04 51 views 2 likes

2

我打算在Spark中保存一些數據幀/表來緩存。我想知道有多少數據幀/表被緩存？如何檢查Spark中緩存數據幀/ rdds /表的列表？

2017-04-04 Ramsey

A

回答

0

可以通過Spark UI的存儲選項卡或通過REST API查看緩存的RDD/Dataframe的詳細信息。

2017-04-04 20:01:27

1

你可以按照Brian的說法。根據Pyspark，它沒有像Scala API這樣的'sc.getPersistentRDDs'方法。

您可以跟蹤問題here

2017-04-05 05:43:48

相關問題