Samza是否在HA中使用ResourceManager？

Question

有沒有人有Samza與HA中的資源經理合作？如果是這樣，我應該在yarn-site.xml中設置yarn.resourcemanager.hostname？

如果我將其設置爲我的第一個RM，則作業提交工作正常，如果我從該RM提交作業並且RM是活動作業。如果我運行作業提交的RM機器未處於活動狀態，則端口8032上會出現連接拒絕錯誤。

Answer 1

是的，我們已經在HA模式下使用RM運行samza。基本上確保yarn-site.xml具有下面定義的屬性。這將確保作業提交將嘗試連接到其他RM，如果第一個不成功。

<property> 
     <name>yarn.resourcemanager.hostname</name> 
     <value>yarn_resource_manager_hostname</value> 
    </property> 
    <property> 
     <name>yarn.resourcemanager.ha.enabled</name> 
     <value>true</value> 
    </property> 
    <property> 
     <name>yarn.resourcemanager.cluster-id</name> 
     <value>yarn_cluster_id</value> 
    </property> 
    <property> 
     <name>yarn.resourcemanager.ha.rm-ids</name> 
     <value>rm1,rm2</value> 
    </property> 
    <property> 
     <name>yarn.resourcemanager.hostname.rm1</name> 
     <value>yarn_resource_manager_hostname</value> 
    </property> 
    <property> 
     <name>yarn.resourcemanager.hostname.rm2</name> 
     <value>yarn_resource_manager2_hostname</value> 
    </property> 
    <property> 
     <name>yarn.resourcemanager.address.rm1</name> 
     <value>yarn_resource_manager_hostname:8032</value> 
    </property> 
    <property> 
     <name>yarn.resourcemanager.address.rm2</name> 
     <value>yarn_resource_manager2_hostname:8032</value> 
    </property>