2012-02-06 24 views
2

1)我有一個只映射Hadoop的作業,將數據傳輸到Cassandra羣集。如何將進度報告給Hadoop作業以避免任務中斷超時?

2)有時流式傳輸需要10分鐘以上的時間,並且由於進度未報告給作業,因此會導致任務失敗。

3)我試圖用context.progress()方法報告進度,但它沒有幫助。

還有什麼需要報告的進展,以hadoop工作?

我已經寫了一個示例代碼,如下所示,以模擬該問題並使用以下代碼。

Thread.sleep(360000); 

context.progress(); 

Thread.sleep(360000); 

它失敗,以下錯誤消息

06年12月2日11時40分25秒INFO mapred.JobClient:任務標識: attempt_201202061119_0001_m_000001_1,狀態:失敗的任務 attempt_201202061119_0001_m_000001_1漏報狀態爲601 秒。殺!

回答