刪除列表中的火花

Question

格式化我有一些火花像這樣的代碼：

val combPrdGrp = custPrdGrp3.join(cmpgnPrdGrp3) 

val combPrdGrp2 = combPrdGrp.groupByKey 


val combPrdGrp3 = combPrdGrp2.map{case (k3, vals3) => { 
    val valsString3 = vals3.map{case (id3, m3) => { 
    s"$id3 $m3" 
    } 
    } 
    s"$k3 $valsString3" 
}} 

當我做了combPrdGrp3.first我得到下面的結果。

res1: String = 110| List({'CNSMR_DIRCT_SAVG': {PRVCY_CALL: 1, PRVCY_SWP: 1, PRVCY_MAIL: 1, PRVCY_AFIL: 1, PRVCY_FCRA: 1, PRVCY_PIPE: 1, PRVCY_GLBA: 4}}| {'CARDXSL1503L': {contacted: '3/25/2015', channel: 'CARD-XSL', hit_home_date: 'ASPEN - Reminder', campaign: 'XSELL TO 360', creative: 'EM', refcode: 'Y'}}) 

我想List(和結束)被刪除，但似乎無法弄清楚如何做到這一點。我試圖用.pipe但似乎並沒有這樣的工作：

val combPrdGrp4 = combPrdGrp3.pipe("sed s/List((//g").pipe("sed s/)//g") 

會崩潰SC出於某種原因。嘗試處理結果時，我會得到一個sc shutdown錯誤。

做combPrdGrp2.first會產生這樣的結果：

res2: (String, Iterable[(String, String)]) = (110|,CompactBuffer(({'CNSMR_DIRCT_SAVG': {PRVCY_CALL: 1, PRVCY_SWP: 1, PRVCY_MAIL: 1, PRVCY_AFIL: 1, PRVCY_FCRA: 1, PRVCY_PIPE: 1, PRVCY_GLBA: 4}}|, {'CARDXSL1503L': {contacted: '3/25/2015', channel: 'CARD-XSL', hit_home_date: 'ASPEN - Reminder', campaign: 'XSELL TO 360', creative: 'EM', refcode: 'Y'}}))) 

Answer 1

你可以使用mkString格式化CompactBuffer/List自己：

List(1, 2, 3).toString 
// String = List(1, 2, 3) 

List(1, 2, 3).mkString 
// String = 123 

List(1, 2, 3).mkString(", ") 
// String = 1, 2, 3 

在你combPrdGrp2的情況下，這可能看起來像：

val elem = (
    "110|", 
    Iterable((
    "{'CNSMR_DIRCT_SAVG': {PRVCY_CALL: 1, PRVCY_SWP: 1, PRVCY_MAIL: 1, PRVCY_AFIL: 1, PRVCY_FCRA: 1, PRVCY_PIPE: 1, PRVCY_GLBA: 4}}|", 
    "{'CARDXSL1503L': {contacted: '3/25/2015', channel: 'CARD-XSL', hit_home_date: 'ASPEN - Reminder', campaign: 'XSELL TO 360', creative: 'EM', refcode: 'Y'}}" 
)) 
) 
val combPrdGrp2 = List(elem) 

combPrdGrp2.map { case (n, list) => 
    val formattedPairs = list.map { case (a, b) => s"$a $b" } 
    s"$n ${formattedPairs.mkString}" 
}