MapReduce凍結在99％

Question

我遇到了一個非常簡單的hadoop程序，它進展到99％的還原階段然後凍結。輸入是一個非常精簡的文件〜50行文本，輸出應該是非常直接的Id和它們的頻率的鍵值對。

我已經將mapred-site.xml內的mem分配增加到〜6Gig。

<property> 
    <name>mapred.child.java.opts</name> 
    <value>-Xmx6024m</value> 
</property> 

我試圖檢查日誌文件，但它們都是空的，沒有寫入它們。請建議這可能是錯誤的？

Answer 1

好的，所以當我開始使用較新的Job &配置類時，問題就解決了。直到現在我正在使用遺留代碼，這似乎導致了很多錯誤。所以我想我的建議是使用最新的hadoop庫&而不是已棄用的庫。

悲傷的是，一些hadoop書籍仍然教與傳統類& APIs。 - 不要使用它們！