2015-09-07 33 views
0

我試圖爲leftOuterJoin寫一個簡單的包裝。我開始像這樣和遇到奇怪的問題,Spark leftOuterJoin問題 - leftOuter不是org.apache.spark.rdd.RDD的成員[(String,String)]

import org.apache.spark.rdd.RDD 
import org.apache.spark.SparkContext._ 
import org.apache.spark.rdd.PairRDDFunctions 
import scala.reflect.ClassTag 

case class Joins(self: RDD[(String,String)]) { 
     def loj(other: RDD[(String,String)]) = { 
     (self.leftOuterJoin(other)) 
     } 
    } 

error: value leftOuterJoin is not a member of org.apache.spark.rdd.RDD[(String, String)]

我要去哪裏錯了嗎?

回答

0

我認爲這僅僅是一個突出的錯誤,所以您可以加入

import org.apache.spark.rdd.RDD._ 

似乎SparkContext._行爲改變Spark 1.4.xSparkContext._不是強制性的了,但它仍然需要對IDE識別正確的類型。

+0

我正在使用spark 1.2.1和「import org.apache.spark.rdd.RDD._」拋出錯誤「RDD類存在,但它沒有伴隨對象。」 – user3279189

相關問題