閱讀Hadoop中

Question

分佈式文件我試圖在Hadoop中的以下內容：

1. 我已經實現了一個文件輸出到目錄「foo」的一個地圖，減少工作。
2. foo文件帶有一個鍵= IntWriteable，value = IntWriteable格式（使用SequenceFileOutputFormat）。
3. 現在，我想開始另一個map-reduce作業。映射器是好的，但每個reducer都需要在啓動時讀取整個「foo」文件（我正在使用HDFS在reducer之間共享數據）。

我用了「公共無效配置（JobConf CONF）」這樣的代碼：

String uri = "out/foo"; 
FileSystem fs = FileSystem.get(URI.create(uri), conf); 
FileStatus[] status = fs.listStatus(new Path(uri)); 
for (int i=0; i<status.length; ++i) { 
    Path currFile = status[i].getPath(); 
    System.out.println("status: " + i + " " + currFile.toString()); 
    try { 
     SequenceFile.Reader reader = null; 
     reader = new SequenceFile.Reader(fs, currFile, conf); 
     IntWritable key = (IntWritable) ReflectionUtils.newInstance(reader.getKeyClass(), conf); 
     IntWritable value = (IntWritable) ReflectionUtils.newInstance(reader.getValueClass(), conf); 
     while (reader.next(key, value)) { 
     // do the code for all the pairs. 
     } 
    } 
} 

的代碼運行良好，一臺機器上，但我notsure是否會在集羣上運行。 換句話說，這個代碼是從當前機器讀取文件還是從分佈式系統讀取ID？

有什麼我想要做的更好的解決方案？

在此先感謝，

Arik。

Answer 1

FileSystem.get（）的URI沒有定義方案，因此使用的文件系統取決於配置參數fs.defaultFS。如果沒有設置，則將使用默認設置，即LocalFile系統。

您的程序在workingDir/out/foo下寫入本地文件系統。它也應該在羣集中工作，但是會查找本地文件系統。

與上述說，我不知道爲什麼你需要從foo目錄的整個文件。您可能會考慮其他設計。如果需要，應首先將這些文件複製到HDFS，然後從減速器的重寫設置方法中讀取文件。毋庸置疑，要關閉在reducer的重寫特寫方法中打開的文件。雖然可以在縮減器中讀取文件，但map/reduce程序不是爲這種功能而設計的。