如何檢查我的RDD或數據幀是否被緩存？

我已經創建了一個數據幀說df1。我通過使用df1.cache（）來緩存這個。我怎樣才能檢查這是否被緩存？也有一種方法，以便我能夠看到我所有的緩存RDD或數據框。如何檢查我的RDD或數據幀是否被緩存？

2015-09-07 StarLord

您可以在RDD上調用getStorageLevel.useMemory來確定數據集是否在內存中。例如：

scala> val rdd = sc.parallelize(Seq(1,2)) 
rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[1] at parallelize at <console>:21 

scala> rdd.getStorageLevel.useMemory 
res9: Boolean = false 

scala> rdd.cache() 
res10: rdd.type = ParallelCollectionRDD[1] at parallelize at <console>:21 

scala> rdd.getStorageLevel.useMemory 
res11: Boolean = true

來源

2015-09-07 09:08:05

謝謝你的答案。 python中是否有類似的函數？ – StarLord

我這麼認爲，請確認Python API。 –

我似乎無法找到它，如果您對我的位置有任何想法，請幫助我 – StarLord

@Arnab，

你有沒有發現在Python的功能？
下面是數據幀DF的例子：

DF.cache() 
print DF.is_cached

希望這有助於。
拉姆

來源

2016-07-11 18:54:45 user6296218

一個什麼樣的例子？ DataFrame類中沒有這種方法。 –

is_cached不是一種方法，它是DataFrame類的一個屬性。 – cftarnas

在Java和Scala，下面的方法可以用來找到所有的持久RDDS： sparkContext.getPersistentRDDs（）
這裏是鏈接到文件： https://spark.apache.org/docs/2.0.2/api/java/org/apache/spark/SparkContext.html#getPersistentRDDs()

貌似這個方法不可用在蟒蛇尚未：
https://issues.apache.org/jira/browse/SPARK-2141
但人們可以利用這種短期的黑客：sparkContext._jsc.getPersistentRDDs（）項目（）

謝謝。

來源

2017-10-17 03:33:52 bmc

開始，因爲火花（斯卡拉）2.1.0，這可以檢查一個數據幀如下：

dataframe.storageLevel.useMemory

來源

2018-03-09 07:29:11

如何檢查我的RDD或數據幀是否被緩存？

回答

相關問題