「客戶端」對Hadoop/HDFS意味着什麼？

Question

我明白它背後的一般概念，但我想要更多的澄清和明確定義什麼是「客戶」。

例如，如果我只是在終端上寫一個hdfs命令，它仍然是一個「客戶端」？

Answer 1

Client Hadoop中是指用於與所述的Hadoop文件系統進行通信的接口。 Hadoop可以使用不同類型的客戶端來執行不同的任務。

基本文件系統客戶端hdfs dfs用於連接到Hadoop文件系統並執行基本的文件相關任務。它使用ClientProtocol與NameNode守護程序進行通信，並直接連接到DataNode以讀取/寫入塊數據。 要在HDFS上執行管理任務，有hdfs dfsadmin。對於HA相關任務，hdfs haadmin。 還有類似的客戶可用於執行YARN相關任務。

這些客戶端可以使用它們各自的CLI命令從安裝了Hadoop的節點進行調用，並且具有連接到Hadoop文件系統所需的必要配置和庫。這些節點通常稱爲Hadoop客戶端。

例如，如果我只是在終端上寫一個hdfs命令，是不是 還是個「客戶端」？

技術上，是。如果您可以使用hdfs命令訪問FS，則該節點具有Hadoop客戶端所需的配置和庫。

PS： API還可用於以編程方式創建這些客戶端。

Answer 2

邊緣節點是Hadoop集羣和外部網絡之間的接口。此節點/主機將具有所有庫和客戶端組件，以及連接到hdfs的羣集的當前配置。 這thread討論相同