生成HDFS序列文件

Question

我使用org.apache.pig.PigServer類從Java運行豬腳本。 我需要以gz壓縮的順序格式輸出我的文件。 這是我做了什麼：

effectivePigProperties.put("mapred.output.compress", "true"); 
effectivePigProperties.put("mapred.output.format.class", "org.apache.hadoop.mapred.SequenceFileOutputFormat"); 
effectivePigProperties.put("mapred.output.compression.type", "SequenceFile.CompressionType.BLOCK"); 
effectivePigProperties.put("mapred.output.compression.codec", "org.apache.hadoop.io.compress.GzipCodec"); 

輸出爲廣州，但沒有排序文件。 我在想什麼？

Answer 1

雖然沒有出現在Apache Pig軟件包（也不是它的Piggybank）中，但是Twitter的Elephant Bird庫提供了一個可以使用的SequenceFileStorage implementation。