在hadoop中，將文件複製到主節點或從節點上

在處理map-reduce作業之前，我們是否應該將文件複製到本地/放到hdfs中？當我運行mapreduce示例時，我被教會將主節點中的hdfs和copyFromLocal文件格式化爲master中的hdfs空間。在hadoop中，將文件複製到主節點或從節點上

那麼爲什麼有些教程說主節點只是通知元數據客戶端。筆記本電腦（客戶端）將文件塊複製到數據節點不掌握？例如http://www.youtube.com/watch?v=ziqx2hJY8Hg at 25:50。基於本教程的理解是，文件（按塊分割）將被複制到從節點。所以我們不需要將文件複製到主節點。我很困惑。任何人都可以解釋將文件複製/複製到哪裏？

來源

2013-10-13 user389955

塊不會被複制到主節點。主站（Namenode）向客戶端發送元數據，其中包含數據節點位置，用於放置客戶端的每個塊。沒有實際的塊數據傳輸到NameNode。

我發現這個comic是一個很好的解釋HDFS

來源

2013-10-13 20:28:39 user2876895

給vijairam和user2876895：如果你檢查這個ppt http://www.slideshare.net/benjaminwootton/configuring-your-first-hadoop-cluster-on-ec2：從第24頁開始，它表示格式hdfs在master然後在master的/ tmp/hadoop-ubuntu上創建一些hdfs間隔。然後在第37頁，在映射還原之前，它說把一個文本文件放到這個hdfs中，然後我們通過在master上檢查hadoop dfs -ls來成功複製這個文件。所以我的理解是該文件被複制到名稱節點。 – user389955

在hadoop的主節點（的Namenode）與所述元數據（的Datanode < - >數據的信息）只涉及。它不處理實際的文件。實際的文件只存儲在datanode中。

來源

2013-10-13 20:31:59 VictorCreator

在hadoop中，將文件複製到主節點或從節點上

回答

相關問題