2015-11-27 32 views
3

我有一個奇怪的問題。我使用apache 0.10.0風暴版本和3.5.1 zookeeper版本。我在同一個網絡上有4個不同的vms。風暴工人連接

我開始:2181,第1虛擬機(IP XXX.XXX.5.60)

靈氣& UI,第二個虛擬機(IP XXX.XXX.5.61)

主管:

在本地主機飼養員1第三虛擬機和第四虛擬機監控器4(ips XXX.XXX.5.67 & XXX.XXX.5.68)。

這是雨雲的storm.yaml:

storm.zookeeper.servers: 
- "XXX.XXX.5.60" 
nimbus.host: "XXX.XXX.5.61" 
storm.local.dir: "/home/stresstest/data" 

這是上司的storm.yaml:

storm.zookeeper.servers: 
- "XXX.XXX.5.60" 
nimbus.host: "XXX.XXX.5.61" 
storm.local.dir: "/home/stresstest/data" 
supervisor.slots.ports: 
- 6700 

當我看到動物園管理員接受了連接正常:

2015-11-27 04:16:06,438 [myid:] - 信息 [SyncThread:0:ZooKeeperServer @ 678] - 已建立會話 0x1000000d4ad000b與協商的超時20000爲客戶端 /XXX.XXX.5.67:41315 2015-11-27 04:16:06,439 [myid:] - 信息 [SyncThread:0:ZooKeeperServer @ 678] - 建立會話 0x1000000d4ad000c與協商超時20000爲客戶端 /XXX.XXX.5.68:59833

正如您在上面看到每個主管有1個工人。從用戶界面的網站我看到,我有2 Supervisors和2總插槽。當我向Nimbus提交拓撲時,它會消耗1名工作人員。

問題從這裏開始。當我重新平衡拓撲消耗2名工人這樣它:

號主機的正常運行時間插槽使用的插槽

版本

b38878ae-8eea-4265-9c98-2b6db1ef0bb0 vlan5-dhcp105.xxx.gr18米31S 1 1 0.10.0

d463df62-5d18-460f-86f4-18dff93f544a vlan5-dhcp105.xxx.gr 13米55S 1 1 0.10.0

看來,拓撲使用2名工人,但其同樣一。 工人主管似乎對於兩名工人/主管都是一樣的。因此,當我將數據發送到Nimbus時,只有一名工作人員正在處理數據,另一名工作人員正在等待數據(兩名工作人員都下載了拓撲)。這是爲什麼發生?

回答

0

我設法解決這個問題。兩位主管擁有相同的主機名(它通過了Xen Hypervisor的初始化),所以我相信這些虛擬機是彼此衝突的。當我改變了一個虛擬主機的主機名時,它就起作用了。

0

我在我們的項目中遇到了同樣的問題,結果發現,我們不能通過重新平衡命令來增加工作人員的數量。重新平衡僅用於減少我們使用的工人數量。例如,在拓撲啓動器中,將工作者數量設置爲2,並且可以使用重新平衡-n 1命令將拓撲重新平衡到1個工作人員。並行數提示(executors)可以使用重新平衡命令增加或減少。

+0

我認爲拓撲結構的異步重新平衡是風暴的關鍵特徵。我在Azure上運行了相同的拓撲結構(具有相同數量的虛擬機)並且運行非常流暢。 –

+0

@ΒασιληςΙωσηφιδης嗨,你使用Java或任何其他語言。看起來我們正處於相同的軌道上。 – Prabhu

0

可能是因爲使用了相同的storm.local。nimbus和主管的目錄路徑只是改變你的主管的路徑使用不同的路徑,並嘗試重新平衡它,我認爲它會工作。