Hadoop排序階段需要幾小時

我開始使用hadoop一個星期。在成功運行示例之後，我使用MapCreduce作業來找到使用WordCount示例最常用的單詞。Hadoop排序階段需要幾小時

我試圖用500 MB或數據運行這項工作。

但是，地圖任務需要數小時。目前在地圖上67％減少0％。

Map任務日誌是在這裏如下：

2014-10-24 11:19:52,274 DEBUG [IPC Parameter Sending Thread #0] org.apache.hadoop.ipc.Client: IPC Client (592959754) connection to /xxx.xx.xx.xx:52026 from job_1414134493988_0001 sending #2554 
2014-10-24 11:19:52,278 DEBUG [IPC Client (592959754) connection to /xxx.xx.xx.xx:52026 from job_1414134493988_0001] org.apache.hadoop.ipc.Client: IPC Client (592959754) connection to /xxx.xx.xx.xx:52026 from job_1414134493988_0001 got value #2554 
2014-10-24 11:19:52,279 DEBUG [communication thread] org.apache.hadoop.ipc.RPC: Call: ping 5 
2014-10-24 11:19:55,279 DEBUG [IPC Parameter Sending Thread #0] org.apache.hadoop.ipc.Client: IPC Client (592959754) connection to /xxx.xx.xx.xx:52026 from job_1414134493988_0001 sending #2555 
2014-10-24 11:19:55,280 DEBUG [IPC Client (592959754) connection to /xxx.xx.xx.xx:52026 from job_1414134493988_0001] org.apache.hadoop.ipc.Client: IPC Client (592959754) connection to /xxx.xx.xx.xx:52026 from job_1414134493988_0001 got value #2555 
2014-10-24 11:19:55,280 DEBUG [communication thread] org.apache.hadoop.ipc.RPC: Call: ping 1

這是假設的情況發生，會持續多長時間？

來源

2014-10-26 user3170517

一些提示：

你這是什麼意思長（多久）？
在地圖任務長時間運行的地方拍一個堆棧跟蹤，看看它被幹擾的位置？
他們經常失敗的是什麼狀態的任務？
您的集羣中有多少個映射和減少？

來源

2014-10-26 16:28:59 SMA

它已經運行了15個小時。有8個地圖和1個減少。它從來沒有通過第一張地圖。沒有地圖失敗。一個是「跑步」，她的狀態是「地圖>減少」。感謝您的回答，我將研究堆棧跟蹤。 – user3170517 2014-10-26 18:38:27

Hadoop排序階段需要幾小時

回答

相關問題