是否可以寫入遠程HDFS？

作爲標題，是否可以寫入遠程HDFS？是否可以寫入遠程HDFS？

E.g.我在AWS EC2上安裝了HDFS集羣，並且想從本地計算機向HDFS集羣寫入文件。

來源

2015-09-29 Tommy

兩種方法，你可以寫信給遠程HDFS，

使用WebHDFS api available.It支持外運行 Hadoop集羣訪問和操作的HDFS內容的系統。它不需要客戶端系統安裝hadoop二進制文件。
將客戶端系統配置爲Hadoop edge node與Hadoop集羣/ HDFS的進行交互。

請參考，

https://hadoop.apache.org/docs/r1.2.1/webhdfs.html

http://www.dummies.com/how-to/content/edge-nodes-in-hadoop-clusters.html

來源

2015-09-29 10:51:12 sureshsiva

感謝您的答覆，我只是想進一步的討論。從http://hadoop.apache.org/docs/r1.2.1/hdfs_design.html，「客戶端創建文件的請求不會立即到達NameNode。實際上，HDFS客戶端最初將文件數據緩存到臨時本地文件「，這是客戶端不能直接寫入遠程HDFS的原因嗎？因此，它必須在HDFS集羣內。 – Tommy

是的，差不多..連接到'remote HDFS'的客戶端應該事先知道它的配置細節，以便它可以按照hdfs conf將文件分割成塊，並按照**中指定的方式寫入HDFS。在上面的鏈接中登臺**話題。這是配置'邊緣節點'時以及使用'hadoop dfs'命令時會發生的情況。 – sureshsiva

這是否意味着我必須讓我的本地客戶端成爲HDFS集羣的一部分？那麼DataNode將在我的本地客戶端上運行？ – Tommy

是否可以寫入遠程HDFS？

回答

相關問題