清潔火花緩存數據

Question

我以前緩存（）和堅持（）上數據幀 througout我的應用程序。我想知道是否需要在緩存的每個數據幀上調用unpersist（）以釋放當程序結束時佔用的所有內存和磁盤？會引發自動清理這些職業？
謝謝

Answer 1

一旦spark上下文停止，內存將自行釋放。 如果您想在停止上下文之前釋放內存，那麼您必須調用unpersist。