Hadoop：兩個datanodes但用戶界面顯示一個，Spark：兩個工作人員用戶界面顯示一個

我在許多網站上看到了很多關於SO和Quora的答案。當他們爲從IP地址配置防火牆時，一些問題得到了解決，有些人說這是一個UI故障。我很困惑。我有兩個datanode：一個是純數據節點，另一個是Namenode + datanode。問題是當我做<master-ip>:50075它只顯示一個datanode（也有namenode的機器）。但我的hdfs dfsadmin -report顯示我有兩個datanode，並且在啓動hadoop後，如果我在我的pure-datanode-machine or slave machine上執行jps，則可以看到datanode正在運行。兩臺機器上的防火牆已關閉。 sudo ufw status verbose給出了Status: inactive響應。同樣的場景是火花。 Spark UI將工作節點顯示爲具有主節點而非純工作節點的節點。但工作人員正在運行於pure-worker-machine。再次，這是一個用戶界面故障或我失去了一些東西？ hdfs dfsadmin -reportHadoop：兩個datanodes但用戶界面顯示一個，Spark：兩個工作人員用戶界面顯示一個

Configured Capacity: 991216451584 (923.14 GB) 
Present Capacity: 343650484224 (320.05 GB) 
DFS Remaining: 343650418688 (320.05 GB) 
DFS Used: 65536 (64 KB) 
DFS Used%: 0.00% 
Under replicated blocks: 0 
Blocks with corrupt replicas: 0 
Missing blocks: 0 
Missing blocks (with replication factor 1): 0 
Pending deletion blocks: 0 

------------------------------------------------- 
Live datanodes (2): 

Name: 10.10.10.105:50010 (ekbana) 
Hostname: ekbana 
Decommission Status : Normal 
Configured Capacity: 24690192384 (22.99 GB) 
DFS Used: 32768 (32 KB) 
Non DFS Used: 7112691712 (6.62 GB) 
DFS Remaining: 16299675648 (15.18 GB) 
DFS Used%: 0.00% 
DFS Remaining%: 66.02% 
Configured Cache Capacity: 0 (0 B) 
Cache Used: 0 (0 B) 
Cache Remaining: 0 (0 B) 
Cache Used%: 100.00% 
Cache Remaining%: 0.00% 
Xceivers: 1 
Last contact: Tue Jul 25 04:27:36 EDT 2017 


Name: 110.44.111.147:50010 (saque-slave-ekbana) 
Hostname: ekbana 
Decommission Status : Normal 
Configured Capacity: 966526259200 (900.15 GB) 
DFS Used: 32768 (32 KB) 
Non DFS Used: 590055215104 (549.53 GB) 
DFS Remaining: 327350743040 (304.87 GB) 
DFS Used%: 0.00% 
DFS Remaining%: 33.87% 
Configured Cache Capacity: 0 (0 B) 
Cache Used: 0 (0 B) 
Cache Remaining: 0 (0 B) 
Cache Used%: 100.00% 
Cache Remaining%: 0.00% 
Xceivers: 1 
Last contact: Tue Jul 25 04:27:36 EDT 2017

/etc/hadoop/masters主節點上的文件

ekbana

/etc/hadoop/slaves主節點文件上

ekbana 
saque-slave-ekbana

/etc/hadoop/masters從節點上的文件

saque-master

注意：從機上的saque-master和主機上的ekbana映射到相同的IP。此外UI看起來很像this question's UI

來源

2017-07-25 Saurab

這是因爲有相同的主機名（ekbana）。因此，在UI中它將只顯示一個相同主機名的條目。

如果你想確認這一點，只需啓動一個不在master中的datanode。你可以在用戶界面中看到相應的條目。

如果您也啓動了其他數據節點，它將屏蔽相同主機名的第二個條目。

您可以更改主機名並嘗試。

來源

2017-07-25 13:24:11 Rahul

感謝hadoop用戶界面顯示兩個datanodes，但spark ui仍然顯示一個工人（一個也是主人，而不是純粹的工人） – Saurab

我也面臨類似的問題，我看不到dfshealth.html頁面上的datanode信息。我有兩臺主機名爲主機和從機。

etc/hadoop/masters (on master machine) 
master 
etc/hadoop/slaves 
master 
slave 

etc/hadoop/masters (slave machine) 
master 
etc/hadoop/slaves 
slave

它能夠看到UI上的datanodes。

來源

2017-11-20 01:00:49

Hadoop：兩個datanodes但用戶界面顯示一個，Spark：兩個工作人員用戶界面顯示一個

回答

相關問題