如何在沒有hadoop安裝的情況下在本地文件系統中創建hadoop序列文件？

Question

是否可以在不安裝hadoop的情況下從java創建hadoop序列文件？我需要一個在本地創建序列文件的獨立Java程序。我的java程序將運行在沒有hadoop安裝的env中。

Answer 1

您將需要這些庫，但不需要安裝。使用

SequenceFile.Writer

示例代碼：

import java.io.IOException; 
import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.fs.FileSystem; 
import org.apache.hadoop.fs.Path; 
import org.apache.hadoop.io.NullWritable; 
import org.apache.hadoop.io.SequenceFile; 
import org.apache.hadoop.io.Text; 
public class SequenceFileCreator { 

    public static void main(String[] args) throws IOException { 
     // TODO Auto-generated method stub 
     Configuration config = new Configuration(); 
     FileSystem fs = FileSystem.get(config); 

     SequenceFile.Writer writer = new SequenceFile.Writer(fs, config, new Path("LocalPath"), NullWritable.class, Text.class); 
     writer.append(NullWritable.get(), new Text("")); 
     writer.close(); 
    } 

}