HDFS聯合：在多個名稱節點中提交Map Reduce作業

Question

根據Apache關於Hdfs Federation的文檔，系統可通過單獨聯合多個名稱節點進行擴展。

多個Namenodes /命名空間

爲了水平擴展名稱服務，聯合使用多個獨立Namenodes /命名空間。 Namenodes是聯合的; Namenodes是獨立的，不需要彼此協調。 Datanodes被所有Namenode用作塊的公共存儲。

我唯一的疑問：

我沒有看到名稱節點之間的任何中央協調，因爲所有正在運行的隔離。對於如何提交和處理工作很困惑。

1）如果我提交map-reduce作業，哪個Name Node將處理它？ OR

2）客戶端是否應該知道需要提交作業的Name節點？

如果客戶端不知道哪個名稱節點，應該有一些「主名稱節點」負責分配作業到特定的名稱節點。

它是如何工作的？

在此先感謝。

Answer 1

Hadoop聯合是HDFS的一部分。 map-reduce程序執行等，由紗線監控。

紗線有一個資源管理器來處理作業。資源管理器可以與名稱節點（在這種情況下所有三者）進行通信並獲取數據所在的地址。這是NameNode進入圖片的唯一點。

因此，客戶端不需要將作業提交給NameNode。他將把它提交給資源經理。