從本地目錄複製到HDFS是否運行mapreduce作業？

Question

當我們發出hdfs put或copyfromlocal命令時，它是否調用mapreduce作業？ 如果是，有多少映射器運行？ 如果沒有，傳輸如何完成？

我已閱讀解析文件Hadoop-The權威指南但想獲得更多見解。

Answer 1

當我們使用put和copyFromLocal命令時，使用mapreduce作業將本地文件複製到HDFS。在哪裏它實際上使用Streaming由hadoop客戶端二進制文件本身使用客戶端庫和隊列。

將內容複製到HDFS時，hadoop/hdfs二進制命令利用DistributedFileSystem類與名稱節點進行交互，以驗證並在名稱空間中創建關於要複製的文件的條目。

然後，客戶機使用DFSOutputStream類將數據轉換成數據包，並放置在內部data queue.

的DataStreamer類會消耗隊列內容。此外，DataStreamer類與Namenode進行協商以分配數據節點的列表（包括複製），並且這些數據節點的列表形成data pipe line。

DataStreamer類只通過Streaming將數據包發送到數據管道中的第一個節點，並且完成時第一個節點級聯到下一個節點，並繼續相同的過程，直到流水線中的最後一個節點。

我建議你通過解剖一個文件寫章從權威指南書。