Hadoop文件複製本地Java API vs WebHDFS

Question

我有要求將文件從HDFS複製到本地。現在，我有2個選項。 1）要麼使用Hadoop本地的Java API（文件系統） 或 2）使用WebHDFS [我不要;噸有它使我的集羣中的任何問題]

有人可以讓我知道什麼是最好的選擇，爲什麼？

Answer 1

如果您使用的是Java，我推薦使用本地Java API，因爲它更加靈活，並且給您更多的控制權。

但是，如果您不想涉及Hadoop所需的數十個庫，WebHDFS會更好。它將您的應用程序和Hadoop分離。當然，由於HTTP，你需要付出一點性能成本。