無法解析使用KeyValueTextInputFormat輸入Hadoop中的MapReduce

Question

我的輸入文件是這樣的：

Key1 : Value1,Value2 
Ket2 : Value3,Value4 

在映射器，我想一鍵搞定，其中「：」是分隔符。對於這一點，我的代碼是這樣的：

JobConf conf = new JobConf(newCount.class);  
conf.set("mapred.input.keyvaluelinerecordreader.key.value.separator", ":")  
conf.setInputFormat(KeyValueTextInputFormat.class); 

我也曾嘗試：

conf.set("key.value.separator.in.line.input.line", ":") 

，但無法分析。當我打印鍵，打印這樣的 - >key: ，我只希望--->Key

Answer 1

如果您正在使用新的API（Hadoop的2.X），我從API看到打印要設置的正確參數是mapreduce.input.keyvaluelinerecordreader.key.value.separator。

即，使用mapreduce而不是mapred。

UPDATE：也可能是分隔符'：'在輸入中多次出現。例如，如果輸入記錄是key1: : value1 value2 value3，那麼您會得到類似於您在問題中描述的內容。如果是這種情況，那麼您應該正確選擇分隔符，以便它恰好出現一次。

Answer 2

如果使用Hadoop 2.x中，參數是

mapreduce.input.keyvaluelinerecordreader.key.value.separator

你可以分享你的輸入數據的樣本？

Answer 3

How to change the default key-value output seperator in Hadoop MapReduce

對於KeyValueTextInputFormat輸入線應該是一個鍵值對分隔由"\t"

Key1  Value1,Value2 

通過更改默認的分隔符，您將能夠讀取你的願望。

對於新的API

Here is the solution

//New API 
Configuration conf = new Configuration(); 
conf.set("key.value.separator.in.input.line", ","); 
Job job = new Job(conf); 
job.setInputFormatClass(KeyValueTextInputFormat.class);