本地緩存post map減少佔用空間的作業

我正在使用Hortonworks環境進行大數據處理。本地緩存post map減少佔用空間的作業

我觀察到，作爲從Hive/Oozie/Pig等Map Reduce作業的一部分，我的下面的本地緩存目錄已經被填滿了。它爲每個地圖創建一個文件夾，以減少jar文件的執行。

/Hadoop的/紗/本地/ usercache /根/ filecache

是不是很好，如果我直接刪除這些文件夾？有沒有我可以設置自動刪除它的配置？

這些目錄應該每600000ms（10分鐘）自動清理一次。

或者您可以通過在yarn-site.xml, ,yarn.nodemanager.localizer.cache.cleanup.interval-ms中設置此屬性來縮短此時間段。

您還可以更改此緩存目錄應占用的最大大小， yarn.nodemanager.localizer.cache.target-size-mb。默認的目標大小是10240MB。

如果沒有作業正在運行，手動刪除緩存就可以了。刪除緩存後重新啓動nodemanager。

2017-02-13 10:14:42 franklinsijo

其實這兩個條目都不存在於我的yarn-site.xml文件中。我將添加它們，並在沒有用戶使用該系統並且所有作業都完成時重新開始紗線服務。我可以手動刪除舊文件夾並重新啓動節點管理器嗎？ –

是的，手動刪除很好。作業完成後，不需要舊的緩存。 – franklinsijo

我只應用了更改yarn.nodemanager.localizer.cache.cleanup.interval-ms並重新啓動yarn和nodemanager服務。但是文件夾沒有清除。我錯過了什麼嗎？ –

回答