使用分佈式緩存獲取分發小型查找文件的最佳方式

Question

獲取分佈式緩存數據的最佳方式是哪種？

public class TrailMapper extends Mapper<LongWritable, Text, Text, IntWritable> { 

    ArrayList<String> globalFreq = new ArrayList<String>(); 
    public void setup(Context context) throws IOException{ 
     Configuration conf = context.getConfiguration(); 
     FileSystem fs = FileSystem.get(conf); 
     URI[] cacheFiles = DistributedCache.getCacheFiles(conf); 
     Path getPath = new Path(cacheFiles[0].getPath()); 
     BufferedReader bf = new BufferedReader(new InputStreamReader(fs.open(getPath))); 
     String setupData = null; 
     while ((setupData = bf.readLine()) != null) { 
      String [] parts = setupData.split(" "); 
      globalFreq.add(parts[0]); 
     } 
    } 
    public void map(LongWritable key, Text value, Context context) 
      throws IOException, InterruptedException { 
     //Accessing "globalFreq" data .and do further processing 
     } 

OR

public class TrailMapper extends Mapper<LongWritable, Text, Text, IntWritable> { 
    URI[] cacheFiles 
    public void setup(Context context) throws IOException{ 
     Configuration conf = context.getConfiguration(); 
     FileSystem fs = FileSystem.get(conf); 
     cacheFiles = DistributedCache.getCacheFiles(conf); 

    } 
    public void map(LongWritable key, Text value, Context context) 
      throws IOException, InterruptedException { 
     ArrayList<String> globalFreq = new ArrayList<String>(); 
     Path getPath = new Path(cacheFiles[0].getPath()); 
     BufferedReader bf = new BufferedReader(new InputStreamReader(fs.open(getPath))); 
     String setupData = null; 
     while ((setupData = bf.readLine()) != null) { 
      String [] parts = setupData.split(" "); 
      globalFreq.add(parts[0]); 
     } 

     } 

因此，如果我們正在做的一樣（碼2）意思Say we have 5 map task every map task reads the same copy of the data。當爲每張地圖寫這樣的內容時，任務在我正確的時候多次讀取數據（5次）？代碼1：因爲它是在安裝程序中寫入的，所以只讀取一次，全局數據在地圖中訪問。

這是寫分佈式緩存的正確方法。

Answer 1

在setup方法中儘可能地做到這一點：這將由每個映射器調用一次，但是將被傳遞給映射器的每個記錄緩存。解析每條記錄的數據是可以避免的開銷，因爲沒有任何內容取決於您在map方法中收到的key，value和context變量。

的setup方法將每個地圖被稱爲任務，但map將被稱爲用於每個記錄由任務（其可以顯然是非常高的數字）進行處理。