2012-07-17 46 views
0

我是新來的hadoop,我有以下問題。我想控制mappers的數量,而我發現的最簡單的方法就是欺騙hadoop爲每個map任務生成一個輸入文件,就像在pi估算器的例子中一樣。所以就用下面的代碼段:爲每個地圖任務生成輸入文件

for(int i=0; i < nMaps; ++i) { 
    final Path file = new Path(inDir, "part"+i); 
    fs.create(file); 
    fs.close(); 
    } 

和在編譯有在fs.create線的誤差。有誰知道什麼是錯的,它是如何解決的?謝謝

+0

你會得到什麼錯誤? – MByD 2012-07-17 12:45:29

+0

您可以在作業配置中設置多個地圖任務。 – 2012-07-17 12:45:50

+0

作業配置中的地圖任務數只是一個提示,並不用於作業的地圖任務數量。默認情況下,地圖任務的數量等於輸入拆分的數量。 – 2012-07-18 02:29:06

回答

0

你應該趕上(或重投)IOException可能從createclose拋出。

相關問題