爲什麼我的Spark完成的應用程序仍在使用我的工作人員的磁盤空間？

Question

我的Datastax Spark完成的應用程序正在使用我工作人員的光盤空間。因此，我的火花無法運行，因爲它沒有剩餘磁盤空間。 這是我的spark worker目錄。這些藍色應用程序總共需要92GB，但它們不應該存在了，因爲它們是完整的應用程序感謝幫助不知道問題出在哪裏。

這是我的火花前UI：

Answer 1

星火不會自動清理轉移到工作節點的罐子。如果你想這樣做，並且你正在運行Spark Standalone（YARN有點不同並且工作方式不同），那麼可以將spark.worker.cleanup.enabled設置爲true，並通過spark.worker.cleanup.interval設置清理間隔。這將允許Spark清理保留在您的工作人員中的數據。您也可以爲所有應用程序目錄配置默認的TTL。

從spark.worker.cleanup.enabled文檔：

啓用工人/應用程序目錄的定期清理。請注意， 這隻影響獨立模式，因爲YARN的工作方式不同。只有被停止的應用程序的 目錄被清除。

欲瞭解更多信息，請參閱Spark Configuration。