從mapreduce中讀取配置單元表

Question

我目前正在編寫一個mapreduce程序來查找兩個hive表之間的區別。 我的配置單元表分區在一列或多列上。所以文件夾名稱包含分區列的值。

有什麼方法可以讀取蜂巢分區表。

它可以在映射器中讀取嗎​​？

Answer 1

因爲底層HDFS數據將被默認在分區蜂巢表作爲

table/root/folder/x=1/y=1 
table/root/folder/x=1/y=2 
table/root/folder/x=2/y=1 
table/root/folder/x=2/y=2...., 

你可以建立每個輸入通道的司機，並通過多次調用將它們添加到FileInputFormat.addInputPath（工作組織，路徑）。您建立的每個文件夾路徑的呼叫。

粘貼下面的示例代碼。注意如何將路徑添加到MyMapper.class。在此示例中，我使用MultipleInputs API。表由「部分」和「xdate」進行分區。

public class MyDriver extends Configured implements Tool { 
    public int run(String[] args) throws Exception { 
     Configuration conf = getConf(); 
     conf.set("mapred.compress.map.output", "true"); 
     conf.set("mapred.output.compression.type", "BLOCK"); 

     Job job = new Job(conf); 
     //set up various job parameters 
     job.setJarByClass(MyDriver.class); 
     job.setJobName(conf.get("job.name")); 
     MultipleInputs.addInputPath(job, new Path(conf.get("root.folder")+"/xdate="+conf.get("start.date")), TextInputFormat.class, OneMapper.class); 
     for (Path path : getPathList(job,conf)) { 
      System.out.println("path: "+path.toString()); 
      MultipleInputs.addInputPath(job, path, Class.forName(conf.get("input.format")).asSubclass(FileInputFormat.class).asSubclass(InputFormat.class), MyMapper.class); 
     } 
     ... 
     ... 
     return job.waitForCompletion(true) ? 0 : -2; 

    } 

    private static ArrayList<Path> getPathList(Job job, Configuration conf) { 
     String rootdir = conf.get("input.path.rootfolder"); 
     String partlist = conf.get("part.list"); 
     String startdate_s = conf.get("start.date"); 
     String enxdate_s = conf.get("end.date"); 
     ArrayList<Path> pathlist = new ArrayList<Path>(); 
     String[] partlist_split = partlist.split(","); 
     SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd"); 
     Date startdate_d = null; 
     Date enxdate_d = null; 
     Path path = null; 
     try { 
      startdate_d = sdf.parse(startdate_s); 
      enxdate_d = sdf.parse(enxdate_s); 
      GregorianCalendar gcal = new GregorianCalendar(); 
      gcal.setTime(startdate_d); 
      Date d = null; 
      for (String part : partlist_split) { 
       gcal.setTime(startdate_d); 
       do { 
        d = gcal.getTime(); 
        FileSystem fs = FileSystem.get(conf); 
        path = new Path(rootdir + "/part=" + part + "/xdate=" 
          + sdf.format(d)); 
        if (fs.exists(path)) { 
         pathlist.add(path); 
        } 
        gcal.add(Calendar.DAY_OF_YEAR, 1); 
       } while (d.before(enxdate_d)); 
      } 
     } catch (Exception e) { 
      e.printStackTrace(); 
     } 
     return pathlist; 
    } 

    public static void main(String[] args) throws Exception { 
     int res = ToolRunner.run(new Configuration(), new MyDriver(), args); 
     System.exit(res); 
    } 
}