2014-07-13 33 views
1

我想知道是否有任何方法可以關閉工作的Map階段中的洗牌/排序?我的工作不需要減少階段,所以我不需要洗牌和排序。Hadoop V2:關閉洗牌/排序?

即時通訊使用Hadoop版本2.2.0

感謝

+0

另請參閱http://stackoverflow.com/questions/9074910/is-it-possible-to-disable-sorting-in-hadoop –

回答

1

可以setNumReduceTask爲0,這將僅僅是數據地圖,而洗牌和排序。

+1

謝謝。 只是爲了幫助其他人來發帖。通過在MR作業的主要方法中調用''yourJob.setNumReduceTask(0);''來設置reduce任務的數量爲零。 –

+0

實際上,這是否意味着每項工作只能訪問本地數據?我試圖回答[這個問題](http://stackoverflow.com/q/31789176/320399)。 – blong