MapReduce：使用Python編寫序列文件[流]

Question

我想在MapReduce中編寫序列文件。我成功地用java做了它，但我不知道如何用python來做到這一點。

謝謝！

Answer 1

Hadoop接受Streaming命令選項-outputformat。
要將輸出文件生成爲序列文件，請使用-outputformat SequenceFileOutputFormat。

例如：

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \ 
    -input myInputDirs \ 
    -output myOutputDir \ 
    -outputformat org.apache.hadoop.mapred.SequenceFileOutputFormat\ 
    -mapper MapperClass \ 
    -reducer ReducerClass 

默認情況下，-inputformat和-outputformat被設置爲分別TextInputFormat和TextOutputFormat。