如何使用配置文件中的輸入參數執行Map Reduce作業

Question

我想執行一個MR作業，我想通過配置文件將參數傳遞給作業。在mapper和reducer中也應該使用相同的參數。哪種API最適合實現這一目標？

Answer 1

配置文件可以被添加到DistributedCache，我會告訴你它是如何在我的代碼完成：

要閱讀您的映射或減速的文件，最簡單的就是從分佈式緩存中打開它你的映射器/減速的設置：

@Override 
protected void setup(Context context) throws IOException, 
        InterruptedException { 

      Path[] uris = DistributedCache.getLocalCacheFiles(context 
        .getConfiguration()); 

      String patternsFile = uris[0].toString(); 


      BufferedReader in = new BufferedReader(new FileReader(patternsFile)); 
      ... 

      in.close(); 



     } 

將其添加到緩存中添加以下在設置工作：

try { 
      DistributedCache.addCacheFile(new URI(filename), job.getConfiguration()); 

     } catch (URISyntaxException e) { 
      System.out.println("URI exception: "+filename); 
      e.printStackTrace(); 
     }