0
我是新來的hadoop,我有以下問題。我想控制mappers的數量,而我發現的最簡單的方法就是欺騙hadoop爲每個map任務生成一個輸入文件,就像在pi估算器的例子中一樣。所以就用下面的代碼段:爲每個地圖任務生成輸入文件
for(int i=0; i < nMaps; ++i) {
final Path file = new Path(inDir, "part"+i);
fs.create(file);
fs.close();
}
和在編譯有在fs.create線的誤差。有誰知道什麼是錯的,它是如何解決的?謝謝
你會得到什麼錯誤? – MByD 2012-07-17 12:45:29
您可以在作業配置中設置多個地圖任務。 – 2012-07-17 12:45:50
作業配置中的地圖任務數只是一個提示,並不用於作業的地圖任務數量。默認情況下,地圖任務的數量等於輸入拆分的數量。 – 2012-07-18 02:29:06