Hadoop輸入矩陣乘法的SequenceFile

我正在運行在此站點http://www.norstad.org/matrix-multiply/index.html處找到的MapReduce Matrix Multiplication.java程序。
Hadoop輸入矩陣乘法的SequenceFile

當我執行它，它說的輸入不是SequenceFile

我的輸入文件是最近inputA.txt（源代碼可以在網站的可見底），它看起來像這樣

A,0,1,1.0 
A,0,2,2.0 
A,0,3,3.0 
A,0,4,4.0 
A,1,0,5.0 
A,1,1,6.0 
A,1,2,7.0 
A,1,3,8.0 
A,1,4,9.0

使用格式：MatrixName，row，col，element
當然，它不起作用。

我真的想運行這個源代碼，因爲它的算法。那麼如何在這種情況下生成正確的SequenceFile？
我可以從我已有的.txt文件生成它嗎？

來源

2016-11-08 Tungshev

看看在TestMatrixMultiply包含的測試代碼（在你提供的鏈接）應該給你一些東西來處理。

我已經拿出相關的部分讓你開始。這個（未經測試的）代碼應該創建兩個序列文件（參見testIdentity()）。

您可以在writeMatrix方法中看到它如何創建一個SequenceFile和所用的結構，我認爲它與實際的mapreduce作業一樣。

您可以擴展此代碼以讀取您的文本文件，正確填充2D矩陣數組，然後編寫一個序列文件。

public class TestMatrixMultiply { 

    private static final String DATA_DIR_PATH = "/tmp/MatrixMultiply"; 
    private static final String INPUT_PATH_A = DATA_DIR_PATH + "/A"; 
    private static final String INPUT_OATH_B = DATA_DIR_PATH + "/B"; 

    private static Configuration conf = new Configuration(); 
    private static FileSystem fs; 

    public static void writeMatrix (int[][] matrix, 
       int rowDim, int colDim, String pathStr) throws IOException { 

     Path path = new Path(pathStr); 
     SequenceFile.Writer writer = SequenceFile.createWriter(fs, conf, path, 
     MatrixMultiply.IndexPair.class, IntWritable.class, 
     SequenceFile.CompressionType.NONE); 
     MatrixMultiply.IndexPair indexPair = new MatrixMultiply.IndexPair(); 
     IntWritable el = new IntWritable(); 
     for (int i = 0; i < rowDim; i++) { 
      for (int j = 0; j < colDim; j++) { 
       int v = matrix[i][j]; 
       if (v != 0) { 
        indexPair.index1 = i; 
        indexPair.index2 = j; 
        el.set(v); 
        writer.append(indexPair, el); 
       } 
      } 
     } 
     writer.close(); 
    } 

    public static void main (String[] args) throws Exception { 

     new GenericOptionsParser(conf, args); 
     fs = FileSystem.get(conf); 
     fs.mkdirs(new Path(DATA_DIR_PATH)); 

     A = new int[][] { {1,0}, {0,1}}; 
     B = new int[][] { {1,0}, {0,1}}; 
     writeMatrix(A, 2, 2, INPUT_PATH_A); 
     writeMatrix(B, 2, 2, INPUT_OATH_B); 
    } 
}

您應該注意，對於少量數據，這種方法可以。一旦你開始觸及任何比例尺，你可能會想編寫一個mapreduce作業，將你的文本文件作爲輸入並寫出一個序列文件。

來源

2016-11-08 21:29:56

Hadoop輸入矩陣乘法的SequenceFile

回答

相關問題