2014-01-05 41 views
0

Map Reduce的第一步是將輸入文件複製到HDFS。 想知道確切存儲的位置;在名稱節點或數據節點或其他地方?輸入數據最初存儲在哪裏?

當我們說拷貝到HDFS,那裏正是我們存儲輸入文件最初? (我後來知道我們拆分並存儲在數據節點上)。或者我們直接從源/輸入機器複製到數據節點的東西? (我確信情況並非如此)

回答

1

將文件放入HDFS是客戶端,名稱節點和數據節點之間的協調工作。在非常高的層次上,客戶端與名稱節點進行通信以識別需要存儲文件的數據節點,然後客戶端將第一個塊發送到初始數據節點並傳輸該文件,隨後傳輸該特定的複製塊從該特定數據節點發生。

閱讀詳細的協議from here

enter image description here