所有地圖任務達到100％，但仍處於運行狀態

Question

在我的MR作業中，使用HFileOutputFormat進行批量加載時，會生成87個地圖任務，並且在大約20分鐘內所有任務都達到100％。然而，單個任務狀態仍處於hadoop管理頁面的「正在運行」狀態，並且沒有任何狀態轉移到完成狀態。減速機始終處於掛起狀態，從不啓動。我只是在等待，但在30分鐘超時後出現錯誤。

我的工作必須加載大約150列。我嘗試用較少的列數運行相同的MR作業，並輕鬆完成。任何想法爲什麼地圖任務即使在達到100％後也不會移至完成狀態？

Answer 1

一個可能的原因是發出的輸出數據會很大。對它進行排序並將其寫回磁盤將是一件非常耗時的事情。這通常不是這種情況。 檢查日誌並尋找改進map-reduce代碼的方法會更明智。