Hbase - Hadoop：TableInputFormat擴展

Question

使用一個hbase表作爲我的輸入，其中的鍵我已經預處理，以包含一個數字連接到各自的行ID，我想放心，所有行與在M/R作業中將從同一個映射器處理相同編號的標題。我知道這可以通過擴展TableInputFormat來實現，並且我已經看到了一個或兩個關於這個類的擴展的帖子，但是我正在尋找特別是這樣做的最有效的方法。

如果有人有任何想法，請讓我知道。

Answer 1

您可以在掃描中使用PrefixFilter。 http://hbase.apache.org/apidocs/org/apache/hadoop/hbase/filter/PrefixFilter.html

並採用未來

final Future<Boolean> newJobFuture = executor.submit(new Callable<Boolean>() { 
     @Override 
     public Boolean call() throws Exception { 
      Job mapReduceJob = MyJobBuilder.createJob(args, thePrefix, 
        ...); 
      return mapReduceJob.waitForCompletion(true); 
     } 
    }); 

並行推出的不同映射器，但我相信這是更你正在尋找一個減速的方法。