錯誤：值連接不是org.apache.spark.rdd.RDD [（Long，U）]的成員？

Question

我試着寫了下面的方法：

scala> def isEqual[U, V](expected: RDD[U], result: RDD[V]) = { 
|   val expectedIndexValue: RDD[(Long, U)] = expected.zipWithIndex().map{ case (row, idx) => (idx, row) } 
|   val resultIndexValue: RDD[(Long, V)] = result.zipWithIndex().map{ case (row, idx) => (idx, row) } 
|   val combined = expectedIndexValue.join(resultIndexValue) 
|  } 

但我得到了以下錯誤：

<console>:52: error: value join is not a member of org.apache.spark.rdd.RDD[(Long, U)] 
     val combined = expectedIndexValue.join(resultIndexValue) 

Answer 1

join函數是在一個名爲PairRDDFunctions特殊類型的定義，有一個隱式轉換在這種特殊類型的元組的RDD之間。如果您使用的是舊版本的Spark，則需要導入隱式轉換，例如import org.apache.spark.SparkContext._。 SparkContext上還有一個明確的（albiet不贊成的）函數，可以手動使用，名爲rddToPairRDDFunctions。

但是兩者的顯函數和隱式轉換需要的各類類標籤存在，所以你可以使用一個假類的標籤，但因爲你是在斯卡拉的工作，你可能也只是添加類標籤作爲你的函數的隱含參數。