如何在作業完成時更改distributedCache的內容？

Question

作業完成時，是否有任何方法更改與distributedCache關聯的文件的內容，並在另一個地圖/縮減作業中用作新的DistributedCache？

Answer 1

檢查TrackerDistributedCacheManager.java代碼的更多細節。 Hadoop會保留一個引用計數，說明分佈式緩存中有多少個任務正在使用這些文件。如果計數降至0，則標記爲刪除的文件。因此，在作業結束時，將清理DistributedCache中的文件，否則它們將繼續在作業上的節點上堆積。

因此，您不能更改分佈式緩存中的文件並將其用於連續作業。