如何清除火花輸出中的緊湊緩衝

Question

下面是我在火花外殼中運行的程序，但是當我將輸出保存在HDFS中時，我正在使用compactbuffer.how獲取輸出以除去火花輸出中的緊湊緩衝。

計劃：

val a=sc.textFile("/datagen_10.txt") 

val b=a.map(p=>(p.split(",")(1),p.split(2)) 

val c=sc.textFile("/drug.txt") 

val d =c.map(p=>(p.split(",")(1),p.split(",")(0))) 

val e=b.cogroup(d) 

e.saveAsTextfile("/cogroup") 

輸出：

(avil,(CompactBuffer(Brandon Buckner, Veda Hopkins, Mara Higgins, Sybill 

Crosby, Ivan Hale),CompactBuffer(1))) 

(metacin,(CompactBuffer(Len Burgess),CompactBuffer(2))) 

(paracetamol,(CompactBuffer(Zia Underwood, Austin Mayer, Tyler Rosales, Alika 

Gilmore),CompactBuffer(3))) 

Answer 1

你必須手動創建輸出字符串，例如：

e.map{case (k, (xs, ys)) => 
    s"""($k, ((${xs.mkString(",")}), (${ys.mkString(",")}))"""} 

Answer 2

嘗試像

rdd1.map(rec => (rec._2._1.mkString(""))) //output will be like Brandon Buckner, Veda Hopkins, Mara Higgins, Sybill Crosby, Ivan Hale