hadoop減速機是否有超時輸入？

Question

我有一個hadoop工作，我試圖在8節點Windows HDP羣集上運行。該作業擁有超過137000個輸入，並在大約3.5小時內處理84％至92％的地圖任務。然後減速器重新啓動，重新運行地圖任務。這項工作永遠不會結束。

我的問題是，reducer是否有超時讀取地圖輸出或從dfs導致reducer重新啓動塊？或者如果減速器遇到某種限制，它是否會產生一個錯誤消息，幫助我確定原因。我的第一個障礙是默認隊列只允許100000個任務，但是這個工作出現了一條消息，指出了這個問題。

我正在使用的hadoop版本是您使用Microsoft HDInsight獲得的版本。它似乎是一個適用於Windows的hadoop 1.1.0快照（適用於Windows的Hortonworks Data Platform 1.0.1開發人員預覽版）。我設置屬性給客戶端任務8000MB的內存。由於jobtracker是從一個windows服務開始運行的，所以我無法分辨VM實際啓動的內存。

Answer 1

您是否在地圖任務中使用計數器？你的地圖任務是CPU密集型的嗎？如果是，您需要使用計數器來確保Hadoop不認爲您的工作掛起，而是正在處理。