。hdfs中的sparkstaging目錄沒有被刪除

Question

我們正在運行某些spark工作，我們看到hdfs中的.sparkstaging主管在工作完成後仍然存在。 是否有任何參數需要設置爲在作業完成後刪除暫存目錄？

spark.yarn.preserve.staging.files默認爲false，因此我們沒有明確設置它。 我們正在使用hortonworks和火花版本紗線行走火花1.2

問候， 饅頭

Answer 1

請您在作業完成控制檯輸出以下日誌事件，更深入地瞭解這是怎麼回事：

1. ApplicationMaster: Deleting staging directory .sparkStaging/application_xxxxxx_xxxx - 這意味着應用程序能夠成功清理臨時目錄
2. ApplicationMaster: Staging directory is null - 這意味着該應用程序是不是能找到個臨時目錄是應用
3. ApplicationMaster: Failed to cleanup staging dir .sparkStaging/application_xxxxxx_xxxx - 這意味着出事了刪除臨時目錄

難道你還仔細檢查了集羣中的這些屬性可以影響到你所提到的情況：spark.yarn.preserve.staging.files這SPARK_YARN_STAGING_DIR。