自定義RecordReader初始化未調用

我最近開始搞亂Hadoop並創建了自己的輸入格式來處理pdf。自定義RecordReader初始化未調用

出於某種原因，我的自定義RecordReader類沒有它的初始化方法調用。（使用sysout檢查它，因爲我沒有設置調試環境）

我在Windows 7 32bit上運行hadoop 2.2.0。做我的紗罐子調用，Hadoop的罐子在Windows下竊聽......

import ... 

public class PDFInputFormat extends FileInputFormat<Text, Text> 
{ 


     @Override 
     public RecordReader<Text, Text> getRecordReader(InputSplit arg0, 
       JobConf arg1, Reporter arg2) throws IOException 
       { 
        return new PDFRecordReader(); 
       } 

     public static class PDFRecordReader implements RecordReader<Text, Text> 
     { 

      private FSDataInputStream fileIn; 
      public String fileName=null; 
      HashSet<String> hset=new HashSet<String>(); 

      private Text key=null; 
      private Text value=null; 

      private byte[] output=null; 
      private int position = 0; 

      @Override 
      public Text createValue() { 
       int endpos = -1; 
       for (int i = position; i < output.length; i++){ 
        if (output[i] == (byte) '\n') { 
         endpos = i; 
        } 
       } 
       if (endpos == -1) { 
        return new Text(Arrays.copyOfRange(output,position,output.length)); 
       } 
       return new Text(Arrays.copyOfRange(output,position,endpos)); 
      } 

      @Override 
      public void initialize(InputSplit genericSplit, TaskAttemptContext job) throws 
      IOException, InterruptedException 
      { 
       System.out.println("initialization is called"); 
       FileSplit split=(FileSplit) genericSplit; 
       Configuration conf=job.getConfiguration(); 

       Path file=split.getPath(); 
       FileSystem fs=file.getFileSystem(conf); 
       fileIn= fs.open(split.getPath()); 

       fileName=split.getPath().getName().toString(); 

       System.out.println(fileIn.toString()); 

       PDDocument docum = PDDocument.load(fileIn); 

       ByteArrayOutputStream boss = new ByteArrayOutputStream(); 
       OutputStreamWriter ow = new OutputStreamWriter(boss); 

       PDFTextStripper stripper=new PDFTextStripper(); 
       stripper.writeText(docum, ow); 
       ow.flush(); 

       output = boss.toByteArray(); 

      } 
     } 


}

來源

2014-02-18 zim

正如我昨晚想通了，我可以幫助別人與此：

RecordReader是Hadoop的（hadoop.common.mapred）的棄用接口，它實際上並不包含初始化方法，它解釋了爲什麼它不會自動調用。

擴展hadoop.common.mapreduce中的RecordReader類可以讓您擴展該類的初始化方法。

來源

2014-02-21 08:44:20 zim

運行工作，而該System.out.println()可能無法幫助。爲了確保您的initialize()叫或不嘗試拋出一些RuntimeException有如下：

@Override 
      public void initialize(InputSplit genericSplit, TaskAttemptContext job) throws 
      IOException, InterruptedException 
      { 
       throw new NullPointerException("inside initialize()"); 
       ....

這一定會做。

來源

2014-02-20 06:37:17

不夠公平，儘管我在同一個類的其他方法中使用了sysout，所以我期望它也能夠正常工作。 – zim

自定義RecordReader初始化未調用

回答

相關問題