2011-11-18 59 views
3

我已經通幾個Hadoop的信息著作和論文。差異和插槽,地圖任務,數據分片之間的關係,映射

A插槽是一個映射/降低計算單元在節點處。它可能是地圖或縮小插槽。 據,我知道分裂是一組在HDFS具有其中它們ARES存儲節點的一些長度和位置的文件的塊。 映射器是類,但是當代碼被實例化時,它被稱爲映射任務。 對嗎? 我不清楚地圖任務,數據分割和Mapper之間的差異和關係。

關於調度我明白,當一個節點的地圖時隙是免費的映射任務從所述非運行映射任務choosen並推出如果由地圖任務被處理的數據是節點。 任何人都可以在上面的概念來解釋清楚:插槽,映射器和地圖任務等

感謝, 阿倫

回答

3

至於,我知道分裂是一組在HDFS文件的塊它們存儲的節點的長度和位置相同。

InputSplit是特定映射器將處理的數據單位。它不一定只是一組HDFS塊。它可以是單行,100行,DB,50MB文件等。

我不清楚地圖任務,數據分割和Mapper之間的區別和關係。

InputSplit由map任務處理,Mapper的一個實例是Map任務。

0

據我瞭解:在HDFS
第一數據分割到數據節點
那麼當有一個新的作業時,作業跟蹤鴻溝這項工作爲Map和Reduce任務 然後工作跟蹤每一個地圖的任務分配給已經具有與該地圖任務相關的數據分割的節點,所以數據在節點中是本地的,並且將不存在移動數據的成本,因此執行時間越少越好,但是有時我們必須將任務分配給節點其具有未在其上的數據,因此節點具有打通網絡的數據,然後對其進行處理

0

輸入分流而不是數據是指映射減少過程的特定數據量的數據。通常它與塊大小相同,因爲如果兩者的大小不同並且某些數據位於不同節點上,則我們需要傳輸該數據。

0

製圖員:映射器是一類。 MAPPER PHASE:mapper階段是一個輸入,輸出代碼來轉換鍵和值對(鍵,值)中的值。 MAPPER SLOT:執行映射器和縮減器代碼。

相關問題