RDD映射函數的工作方式不同

Question

我有下面的代碼，一般來說映射函數是一個高階函數，它在其參數中使用一個函數並使用該函數計算元素。 但是在這種情況下，map沒有使用Map類型的函數。無法理解map函數的工作方式？

Spark context available as sc (master = yarn-client, app id = application_1473775536920_2711). 
SQL context available as sqlContext. 

scala> val pws = Map("Apache Spark" -> "http://spark.apache.org/", "Scala" -> "http://www.scala-lang.org/") 
pws: scala.collection.immutable.Map[String,String] = Map(Apache Spark -> http://spark.apache.org/, Scala -> http://www.scala-lang.org/) 

scala> val websites = sc.parallelize(Seq("Apache Spark", "Scala")).map(pws).collect 
16/09/23 02:50:15 WARN util.ClosureCleaner: Expected a closure; got scala.collection.immutable.Map$Map2 
[Stage 0:>               (0 + 0)/2]16/09/23 02:50:31 WARN cluster.YarnScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 
websites: Array[String] = Array(http://spark.apache.org/, http://www.scala-lang.org/) 

Answer 1

的特質Map[A, +B]延伸性狀Function1[-T1, +R]。換句話說，Map是的一個函數。在你的情況下，你有一個Map[String, String]這意味着你的地圖將有def apply(arg: String): String這是什麼適用於您的RDD中的所有元素。

因此，即使在普通的斯卡拉，你可以這樣做

val m = Map(("a" -> "b"), ("c" -> "d")) 
val s = Seq("a", "c") 

s.map(m) 
res0: Seq[String] = List(b, d) 

對於這個編譯類型m和s需要匹配。