Hadoop Mapper中Mapper/Reducer的設置和清理方法MapReduce

Question

分別在每個mapper和reducer任務中調用setup和cleanup方法嗎？還是他們在整個映射器和減速器工作開始時只召喚過一次？

Answer 1

他們被稱爲每個任務，所以如果你有20個映射器運行，每個人都會調用setup/cleanup。

一個問題是Mapper和Reducer的標準運行方法不能捕獲map/reduce方法的異常 - 所以如果在這些方法中拋出異常，則不會調用清理方法。

Answer 2

一個澄清是有幫助的。安裝/清理方法用於初始化和清理任務級別。在一個任務中，首先進行初始化，然後對setup（）方法進行一次調用，然後完成對map（）[或reduce（）]函數的所有調用。之後，在退出任務之前將另外調用一次cleanup（）方法。

Answer 3

它被稱爲每個Mapper任務或Reducer任務。 這裏是hadoop代碼。

public void run(Context context) throws IOException, InterruptedException { 
    setup(context); 
    try { 
     while (context.nextKey()) { 
     reduce(context.getCurrentKey(), context.getValues(), context); 
     } 
    } finally { 
     cleanup(context); 
    } 
    } 

Answer 4

按照mapreduce documentation 建立和清除被稱爲每個映射器和減速的任務。

Answer 5

關於reducer你可以在工作中做job.setNumReduceTasks（1）;這樣，只能運行一次減速器的設置和清理。