隨機錯誤：超出MAX_FAILED_UNIQUE_FETCHES;救助

Question

我試圖在兩個節點集羣上運行mapreduce作業。我收到以下錯誤 隨機錯誤：超出MAX_FAILED_UNIQUE_FETCHES;想逃出。

我經歷了一些職位，這不能不說是由於問題在/ etc/hosts中

我的/ etc /在主控主機看起來像這樣讀（另外，掌握本身就是一個奴隸）：
127.0。 0.1本地主機
127.0.1.1 XYZ
10.140.169.41主
10.140.169.38從屬

的/ etc /在從屬主機看起來像這樣

127.0.0.1本地主機
127.0.1.1 ABC
10.140.169.41主
10.140.169.38從

我已經關閉了防火牆

任何幫助，將不勝感激

Answer 1

是你的主人居然命名爲「主'和'奴隸'？確保/etc/hosts文件中的條目與主機的名稱匹配，即hostname的輸出。

Answer 2

混洗是中間數據從映射器傳輸到還原器的階段。您還沒有提到什麼樣的Map Reduce你已經爲你的代碼運行性能，但我可以建議你嘗試設置以下屬性：如果您需要了解我們如何可以計算出緩衝輸入百分比描述

<property> 
    <name>mapreduce.reduce.shuffle.input.buffer.percent</name> 
    <value>0.20</value> 
</property> 
<property> 
    <name>mapreduce.reduce.shuffle.parallelcopies</name> 
    <value>4</value> 
</property> 

看看這個：https://issues.apache.org/jira/browse/MAPREDUCE-6447/

謝謝。