webhdfs兩個步驟上載文件

Question

我建立Hadoop集羣用4個機：

• {主機名}：{IP地址}
• 主：192.168.1.60
• SLAVE1：192.168.1.61
• SLAVE2：192.168.1.62
• slave3：192.168.1.63

我用HttpFS文件上傳到HDFS w ^平靜的方式，包含兩個步驟來完成任務。

• 步驟1：提交HTTP POST請求，但不自動跟蹤重定向，也不發送文件數據。

  捲曲-i -X POST 「http://192.168.1.60:50070/webhdfs/v1/user/haduser/myfile.txt?op=APPEND」

服務器返回結果一樣：

地點：http://slave1:50075/webhdfs/v1/user/haduser/myfile.txt?op=CREATE&user.name=haduser&namenoderpcaddress=master:8020&overwrite=false

• 第2步：使用響應地址上傳文件。

在步驟1中，如何獲取datanode的IP地址（192.168.1.61）而不是主機名（slave1）？

Answer 1

如果您的hadoop版本> = 2.5，則在每個datanode配置文件中配置$ {HADOOP_HOME} /etc/hadoop/hdfs-site.xml文件。 地址： 財產dfs.datanode.hostname， 值數據節點的IP地址。