分佈式緩存

我在opensuse linux上使用hadoop 19，我沒有使用任何集羣，而是在我的機器上運行我的hadoop代碼。我遵循關於放入分佈式緩存的標準技術，但不是一次又一次地從分佈式緩存中獲取文件，而是將文件內容存儲在一個數組中。這個從文件中提取的部分是在configure（）函數中完成的。當我嘗試使用場名時，我得到nullPointerException。這是代碼的一部分：分佈式緩存

. 
..part of main() 
.. 
DistributedCache.addCacheFile(new URI("/home/hmobile/hadoop-0.19.2/output/part-00000"), conf2); 
      DistributedCache.addCacheFile(new URI("/home/hmobile/hadoop-0.19.2/output/part-00001"), conf2); 
. 

.part of mapper 

public void configure(JobConf conf2) 
{ 
     String wrd; String line;  try { 
       localFiles = DistributedCache.getLocalCacheFiles(conf2); 
       System.out.println(localFiles[0].getName());// error NULLPOINTEREXCEPTION 
      } catch (IOException ex) { 
       Logger.getLogger(blur2.class.getName()).log(Level.SEVERE, null, ex); 
      } 
      for(Path f:localFiles)// error NULLPOINTEREXCEPTION 
      { 
       if(!f.getName().endsWith("crc")) 
       { 
        BufferedReader br = null; 
        try { 
         br = new BufferedReader(new FileReader(f.toString()));

這樣的處理不能在configure（）中完成嗎？

來源

2010-07-09 ayush singhal

或者如果有人能夠告訴我們是否有可能在我們的本地機器上使用分佈式緩存時，當我們沒有嘗試在實際的HDFS上？ – 2010-07-10 07:52:04

這取決於您是使用本地作業運行器（mapred.job.tracker = local）還是以僞分佈式模式運行（即mapred.job.tracker = localhost：8021或= mynode.mydomain.com:8021）。分佈式緩存不是工作在本地模式，只有僞分佈式和完全分佈式模式。

在configure（）中使用分佈式緩存很好，否則。

來源

2010-07-10 22:58:37

新版本的hadoop也是如此嗎？ – 2016-04-07 12:49:32

回答

相關問題