在eclipse中讀取HDFS文件

Question

我在eclipse.my中安裝了hadoop插件，mapreduce程序有迭代，我想在每次迭代中讀取hdfs中的文件。 我直接從hdfs讀取文件，或者我將文件複製到本地然後讀取它？哪一個更有效率？ 謝謝。

Answer 1

這完全取決於你想用它做什麼;如果您要重複使用文件內容，則不妨將其複製到本地以將重複查找保存到HDFS中，但如果您只需要讀取它一次，則HDFS直接無害，因爲複製到本地將涉及讀取無論如何，它從那裏。