的UnknownHostException上的TaskTracker在Hadoop集羣

我已經建立了一個僞分佈式Hadoop集羣（與JobTracker的，一個的TaskTracker，和NameNode的都在同一箱）每教程說明和它的正常工作。我現在正在嘗試將另一個節點添加到此羣集中作爲另一個任務跟蹤器。的UnknownHostException上的TaskTracker在Hadoop集羣

當我檢查節點2上的日誌時，除了tasktracker之外，所有日誌都很好看。我收到了下面列出的錯誤消息的無限循環。似乎任務跟蹤器試圖使用主機名SSP-SANDBOX-1.mysite.com而不是IP地址。這個主機名不在/ etc/hosts中，所以我猜這是問題來自哪裏。我沒有root訪問權限以便將其添加到/ etc/hosts。

是否有任何財產或配置，我可以改變，這樣它會停止嘗試使用主機名進行連接？

非常感謝，

2011-01-18 17:43:22,896 ERROR org.apache.hadoop.mapred.TaskTracker: 
Caught exception: java.net.UnknownHostException: unknown host: SSP-SANDBOX-1.mysite.com 
     at org.apache.hadoop.ipc.Client$Connection.<init>(Client.java:195) 
     at org.apache.hadoop.ipc.Client.getConnection(Client.java:850) 
     at org.apache.hadoop.ipc.Client.call(Client.java:720) 
     at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220) 
     at $Proxy5.getProtocolVersion(Unknown Source) 
     at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:359) 
     at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:106) 
     at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:207) 
     at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:170) 
     at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:82) 
     at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1378) 
     at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66) 
     at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390) 
     at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196) 
     at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175) 
     at org.apache.hadoop.mapred.TaskTracker.offerService(TaskTracker.java:1033) 
     at org.apache.hadoop.mapred.TaskTracker.run(TaskTracker.java:1720) 
     at org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:2833)

來源

2011-01-18 knt

此博客中可能會有所幫助：

http://western-skies.blogspot.com/2010/11/fix-for-exceeded-maxfaileduniquefetches.html

簡短的回答是，Hadoop的執行反向主機名查找，即使你在你的配置中指定的IP地址文件。在您的環境中，爲了讓Hadoop正常工作，SSP-SANDBOX-1.mysite.com必須解析爲該機器的IP地址，並且該IP地址的反向查找必須解析爲SSP-SANDBOX-1.mysite .COM。

所以你需要跟不管是誰管理這些機器要麼捏造hosts文件或提供將做正確的事的DNS服務器。

來源

2011-01-19 14:25:56 bajafresh4life

感謝您的幫助。我最終只是與管理員交談，並讓他們編輯/ etc/hosts文件以添加該計算機的主機名/ IP地址。它現在工作正常。 – knt 2011-01-19 21:20:17

的UnknownHostException上的TaskTracker在Hadoop集羣

回答

相關問題