Spark：它將RDD保存在緩存中的時間有多長

例如，我在內存中緩存了一些RDD。Spark：它將RDD保存在緩存中的時間有多長

然後，我離開申請幾天或更多。

然後我嘗試訪問緩存的RDD。

他們還會記憶嗎？

或者Spark會在一段時間後清理未使用的緩存RDD。

請幫忙！

來源

2016-09-27 Kateryna Khotkevych

Spark會自動監視每個節點上的高速緩存使用情況，並以最近最少使用（LRU）方式刪除舊數據分區。如果您想要手動刪除RDD而不是等待其從緩存中刪除，請使用RDD.unpersist（）方法。

來源

2016-09-28 00:04:51

驅動程序未完成。它只是等待/睡眠/掛起很長時間，然後訪問RDD。 –

你確切的要求是什麼，如果你想清除它，你可以使用unpersist（）。如果你什麼都沒有，只要你的驅動程序可以訪問spark上下文，它們就可以使用。 –

我想使用RDD緩存更多日/月/年前（應用程序仍在運行）。在[documentation]（http://spark.apache.org/docs/latest/programming-guide.html）中，我看到：「Spark會自動監視每個節點上的緩存使用情況，並以最近最少使用的方式丟棄舊數據分區，使用（LRU）時尚「。我需要知道在哪種情況下或何時放棄RDD。 –

Spark：它將RDD保存在緩存中的時間有多長

回答

相關問題