使用Awk的Hadoop示例地圖減少程序

Question

我熟悉使用Java的Hadoop。只使用AWK查找示例Hadoop Map簡化程序。

對於包含一個文本文件...

A k1 
B k1 
C k2 
D k3 

尋找一個O/P

k1 2 
k2 1 
k3 1 

Answer 1

我會建議使用Hadoop流媒體來做到這一點。我不以任何方式一個awk中的專家，但使用@sudo_O答案並將它轉換爲Hadoop的世界這裏是我會做：

1. 寫入將作爲您的映射awk腳本。你只需要一個映射器，不需要減速器。

   $ cat mapper.awk 
   #!/usr/bin/awk -f 
   
   {a[$2]++}END{for(k in a)print k,a[k]} 
   

2. 您可以運行Hadoop的數據流作業，執行下列操作：

   ${HADOOP_HOME}/bin/hadoop \ 
   jar ${HADOOP_HOME}/contrib/streaming/*.jar \ 
   -D mapreduce.job.reduces=0 \ 
   -D mapred.reduce.tasks=0 \ 
   -input /path/to/input.txt \ 
   -output /path/to/output/dir \ 
   -mapper mapper.awk \ 
   -file /path/to/mapper.awk 
   

3. 您可以通過執行查看HDFS結果：

   hadoop fs -cat /path/to/output/dir/* 
   

Answer 2

這將這樣的伎倆：

$ awk '{a[$2]++}END{for(k in a)print k,a[k]}' file 
k1 2 
k2 1 
k3 1