如何使用SPARK shell加入兩個圖層

Question

我試圖使用Spark-shell命令加入兩個文本文件。我寫了以下代碼。

val a = sc.parallelize(List(("symbol", "CNN"), ("symbol", "CND"))) 
val b = sc.parallelize(List(("symbol", "CNN"), ("symbol1", "CNN"))) 
val joned = a.join(b) 

但它顯示錯誤加入不是org.apache.Spark的成員。 任何人都可以告訴我如何實現連接。

Answer 1

你缺少你的範圍一對RDD（具有鍵和值的概念）的隱式轉換，因此，所有你需要做的是第一次運行：

import org.apache.spark.SparkContext._