2017-06-13 16 views
1

我的理解:數據本地概念是否適用於Reducers?

數據局部性的概念僅適用於Mapper,因爲它處理輸入文件。

Reducers還會在處理時使用Data locality概念嗎?

數據局部性:

數據局部性是指於它所駐留從其位置使所述計算的數據,而不是請求數據的數據的處理。

  1. 在計算數據時,Mappers和Reducers可以工作。

  2. 映射器在計算數據時使用數據局部性。

  3. 減速器將輸入作爲映射器輸出。

假設映射器輸出(中間數據)存儲在不同的數據節點中。

Reducers在計算時使用數據局部性嗎?

+0

能否詳細說明您的問題 –

回答

0

不,數據位置概念僅適用於MAPPERS。

減速器是基於部分器邏輯(在MAP輸出的唯一鍵上)分配的