如何在Spark中正確求和.map函數中的整數？

Question

我是Scala和Spark的新手，嘗試在Spark中創建一個類似於RDD的RDD，爲每條線分配一個Int作爲鍵並求和+1。

val mapUrls = urls.map{ 
var cont = 0 
x => 
cont += 1 
(cont,x) 
} 

問題是，在某種程度上，cont變量會在一定時間後回到1。

我在做什麼錯了？

Answer 1

這是你想要的嗎？

urls.zipWithIndex.map(_.swap) 

您的代碼無法正常工作。請記住，Spark是分佈式框架，並且沒有共享內存。每項任務都會更新自己的cont。