錯誤：value saveAsTextFile不是單元的成員

Question

我對Spark和scala編程相對較新。

我正在嘗試使用scala執行簡單的pagerank算法。但編譯時遇到此錯誤。

error: value saveAsTextFile is not a member of Unit 

我附上了我正在使用的代碼。

val output = ranks.collect() 
output.foreach(tup => println(tup._1 + " has page rank: " + tup._2)).saveAsTextFile("/user/ssimhadr/ScalaWordCount_Output") 

Answer 1

正如Ryan指出的那樣，foreach就是爲了副作用。它返回單位而不是列表本身。人類沒有鏈接。

現在，你實際上是在做什麼如下：

val output = ranks.collect() 
val realoutput: Unit = output.foreach(tup => println(tup._1 + " has page rank: " + tup._2)) 
realoutput.saveAsTextFile(...) 

saveAsTextFile不是Unit一員，你會得到你的錯誤信息

你應該做的事：

ranks.foreach(tup => println(tup._1 + " has page rank: " + tup._2)) 
ranks.saveAsTextFile(...) 

或

ranks.saveAsTextFile(...) 
ranks.collect().foreach(tup => println(tup._1 + " has page rank: " + tup._2))