YARN ResourceManager的連接不提前節點管理器

Question

感謝您的幫助

我運行了以下版本：

的Hadoop 2.2 飼養員3.4.5 HBase的0.96 蜂巢0.12

當我去到http：//：50070我能夠正確看到2個節點正在運行。

問題是當我去http：//：8088它顯示0節點正在運行。

據我所知：8088反映了resourcemanager並顯示了正在運行的nodemanagers的數量。守護進程都開始，但看起來nodemanagers沒有連接到資源管理器。

這是日誌文件：

2013-12-16 20:55:48,648 INFO org.apache.hadoop.yarn.client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8031 
2013-12-16 20:55:49,755 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:50,756 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:51,757 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:52,758 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:53,759 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:54,760 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 

我已經確認並端口8031打開。

編輯：

對於人們對未來查看此，我需要修改我的紗線-site.xml中看起來像以下：

<property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
</property> 
<property> 
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.scheduler.address</name> 
    <value>master-1:8030</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.address</name> 
    <value>master-1:8032</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.webapp.address</name> 
    <value>master-1:8088</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.resource-tracker.address</name> 
    <value>master-1:8031</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.admin.address</name> 
    <value>master-1:8033</value> 
</property> 

Answer 1

你需要指定

主機名：端口

是的，它必須在所有的點頭設置es，而不僅僅是ResourceManager節點（只需將同一個hadoop的conf目錄複製到所有節點即可）。如果你需要一些最起碼的工作CONFIGS上手，看看這裏：toster.ru/q/57046#answer_208326

Answer 2

的rsync或scp命令可用於配置文件從主節點複製到從節點：

for host in $HADOOP_CONF_DIR/slaves; do 
    rsync -rv $HADOOP_CONF_DIR/* $host:$HADOOP_CONF_DIR/ 
done 

注意，這裏我假設所有的節點都有相同的hadoop目錄佈局。

Answer 3

我有一個非常類似的問題，它只是通過指定ResourceManager 主機名解決，不需要明確每個服務的確切地址。

<property> 
    <name>yarn.resourcemanager.hostname</name> 
    <value>master-1</value> 
</property> 

Answer 4

我也有同樣的問題，但在我的情況下，只有一個節點管理被列在資源管理器中。我在yarn-site.xml文件中放置了下面的屬性，我可以看到RM列出的節點。

<property> 
    <name>yarn.resourcemanager.hostname</name> 
    <value><master-1></value> 
</property> 

Answer 5

1. 檢查YARN HA啓用或不？
2. 如果已啓用，則針對 yarn-site.xml中提到的每個資源管理器yarn.resourcemanager.ha.rm-id（例如rm1，rm2） 運行resourcemanager服務。

Answer 6

我遇到了非常類似的症狀問題，雖然它是沒有連接到資源管理器的nod​​emanager。問題是在yarn-site.xml中有（或可能）一個名爲「yarn.nodemanager.hostname」的屬性。該設置意外地填充了HDFS「namenode」的主機名，但它應該包含YARN每個節點「nodemanager」的主機名。根據爲其他屬性輸入的內容，這會導致各種錯誤，如「重試連接」，「連接被拒絕」或資源分配錯誤。將其設置爲「0.0.0.0」（默認值）可以解決問題。