無法執行大於10Kb的數據

Question

我在服務器上安裝了Hadoop 1.3。 Ambari也被安裝，允許詳細查看系統。 我已經安裝了Hue並且一切正常，但是我有一個豬腳本，它只能處理非常小的數據（2Kb），並且當我嘗試將數據大小增加到> 10Kb時（我重複了數據以查看這個是問題）它錯誤地說：

Message: Job failed! Error - # of failed Map Tasks exceeded allowed limit 

如果任何人都可以幫助，那將是偉大的。我有一種感覺，這是一種映射中的配置，我必須改變，但我所嘗試過的似乎沒有做任何事情，因此我的整個過程。

感謝

Answer 1

告訴你看起來像一個次要錯誤，錯誤消息：看在日誌中看到爲什麼 map任務失敗了。這幾乎肯定與數據量無關，因爲10KB沒有任何意義。啓動的地圖任務的數量取決於輸入文件的數量（或者說，輸入分割的數量）：它看起來好像增加了要處理的文件的數量，從而（無意中）增加了導致文件失敗。

Answer 2

running Pig job的「狀態」旁邊的鏈接應提供關於MapReduce錯誤的更多詳細信息。