Apache的火花：如何通過可迭代[字符串]作爲參數的函數

Question

我已經使用groupByKey上鍵值對我得到類型的輸出[（字符串，可迭代[字符串]）]

我打電話一個函數在上面的輸出的地圖轉換，但我得到錯誤的函數聲明。

def getStr (uid : String, locations : Array[]) : String = { 
    return "test" 
} 

我不知道如何使用Iterable [String]作爲函數參數。

Answer 1

如果RDD的類型是RDD[(String, Iterable[String])]，映射其記錄你需要一個函數接收單參數與同類型的RDD的記錄，即：如果你想知道

def getStr(record: (String, Iterable[String])): String = { "test" } 

什麼可以用Iterable完成 - 參見docs。

有時，最簡單的方法（儘管不一定是最好的方法）是將其轉換爲列表，然後獲得更豐富的API。獲得迭代器的第一個項目，或默認，如果它是空的：

def getStr(record: (String, Iterable[String])): String = record match { 
    case (s, iter) => iter.toList.headOption.getOrElse("UNKNOWN") 
}