亞馬遜MapReduce沒有reducer作業

Question

我想通過AWS（一個流式作業）創建一個映射只有作業。 Reducer字段是必需的，所以我給了一個虛擬可執行文件，並將-jobconf mapred.map.tasks = 0添加到Extra Args框中。在已安裝的hadoop環境（版本0.20）中，不會啓動Reducer作業，但在AWS中，可執行文件將啓動並失敗。

如何才能在AWS中運行一個沒有reducer/mapper的作業？

Answer 1

您還可以使用cat或NONE作爲減速器參數。

Answer 2

沒有辦法在amazon M/R中創建一個mapper only作業。 我正在使用Identity Reducer（org.apache.hadoop.mapred.lib.IdentityReducer）。