Hadoop在作業中更改了分佈式緩存對象

Question

我有許多排序的Hadoop作業，其中需要分佈式緩存文件。

驅動程序類（Controller）從前一個作業接收輸入，修改一個文件，將其放入DistributedCache並開始一個新作業。

第一份工作後（即在第二個工作），我得到這個錯誤：

java.io.IOException: 
The distributed cache object hdfs://xxxx/xx/x/modelfile2#modelfile2 
changed during the job from 11/8/12 11:55 PM to 11/8/12 11:55 PM 

有誰知道這個問題可能是什麼？

Answer 1

根據TrackerDistributedCacheManager.java方法downloadCacheObject中的資源發生此異常時，不會被忽略，並且不會發生文件從HDFS到本地文件系統的實際下載。所以任務不會在分佈式緩存中找到它的文件。 我懷疑你可能會註冊兩次相同的對象，或者，當多個作業將同一個郵件放入同一控制器的分佈式緩存中時，hadoop中可能存在一些錯誤。