Hadoop減少錯誤

我不斷收到MAX_FAILED_UNIQUE_FETCHES;儘管我嘗試了所有可以在網上找到的解決方案，但仍處於縮減階段。請幫助我，我在三個小時內完成項目演示，並且我的解決方案無法擴展。Hadoop減少錯誤

我有一個主即NameNode和JobTracker的（172.16.8.3）和3名工人（172.16.8。{11，12，13}）

下面是對應的配置文件（我不能讓顯示結構）：

 

//////// 172.16.8.3 //////////////////// 

// core-site.xml 

    
     hadoop.tmp.dir 
     /usr/local/hadoop-datastore/hadoop-${user.name} 
     Hadoop Data Store 
    

    
     fs.default.name 
     hdfs://172.16.8.3:54310/ 
    


// mapred-site.xml 


    
     mapred.job.tracker 
     172.16.8.3:54311 
    




//////// 172.16.8.11 //////////////// 

// core-site.xml 

    
     hadoop.tmp.dir 
     /usr/local/hadoop-datastore/hadoop-${user.name} 
     Hadoop Data Store 
    

    
     fs.default.name 
     hdfs://172.16.8.3:54310/ 
    


// mapred-site.xml 


    
     mapred.job.tracker 
     172.16.8.3:54311 
    


/////// 172.16.8.12 ////////////// 
// core-site.xml 
<configuration> 
    
     hadoop.tmp.dir 
     /usr/local/hadoop-datastore/hadoop-${user.name} 
     Hadoop Data Store 
    

    
     fs.default.name 
     hdfs://172.16.8.3:54310/ 
    
</configuration> 

// mapred-site.xml 

    
     mapred.job.tracker 
     172.16.8.3:54311 
    


///////// 172.16.8.13 //////// 
// core-site.xml 

    
     hadoop.tmp.dir 
     /usr/local/hadoop-datastore/hadoop-${user.name} 
     Hadoop Data Store 
    

    
     fs.default.name 
     hdfs://172.16.8.3:54310/ 
    



// mapred-site.xml 

    
     mapred.job.tracker 
     172.16.8.3:54311

來源

2010-07-13 Marius

我不想笑，但一般你讓它工作，然後給它一個演示文稿... – bwawok 2010-07-13 02:15:45

好吧，它正在工作一個節點集羣，理論上它應該運行在任意數量的機器上，但這並不是 – Marius 2010-07-13 02:29:52

，並且我的顧問選擇了這個時機:( – Marius 2010-07-13 02:43:14

這個link似乎表明它可能是一個網絡配置問題。

由於網絡/配置問題導致它們無法查詢Jetty服務器，因此reducer無法獲取映射（由於嘗試失敗次數太多）。

免責聲明：我沒有使用過的Hadoop專業

來源

2010-07-13 02:15:15 Syntax

我已經檢查過所有網絡，看起來沒有什麼不對，我在用完文件描述符的時候也檢查了這個問題，但是我仍然無法通過這個錯誤，請幫助！在不到三個小時的時間內提出我的論文 – Marius 2010-07-13 02:27:59

我剛剛發現運行w具有多個輸入文件的羣集上的ordcount示例給出了相同的錯誤。什麼是連接？ – Marius 2010-07-13 02:32:57

羣集中有多少個節點？是否有可能以某種方式註冊一個額外的節點，並且當多個文件被提交時，第二個被賦予該附加節點？ wordcount示例向我表明，Mappers是給予的;每個文本文件中是否有多行？這意味着一個文件的內容將分佈在多個主機上進行處理？在wordcount示例中， – Syntax 2010-07-13 02:46:58

我遇到這個錯誤也：產生java.io.IOException：由造成超出MAX_FAILED_UNIQUE_FETCHES;想逃出。

對我而言，修復方法是在core-site.xml和mapred-site.xml上使用主機名而不是ip地址。你將需要編輯主機文件，幷包括主人和奴隸

來源

2011-01-25 03:28:41 Jonar

Hadoop減少錯誤

回答

相關問題