更新Hadoop中分佈式緩存中的緩存文件

Question

我有一小組文件緩存並通過DistributedCache分發到映射減少作業。 緩存的文件將來需要定期更新。我想知道是否可以在不重新啓動地圖縮減作業的情況下更新緩存的文件。

我閱讀了關於跟蹤緩存文件的修改時間戳的分佈式緩存。當地圖縮小作業未使用文件時，這對於更新文件有用嗎？

Answer 1

緩存的文件在提交作業時被複制到HDFS，然後在產生M/R任務之前由不同的任務跟蹤器本地複製到本地節點。因此，作業運行時，分佈式緩存中的文件無法更改。