使用Spark/scala計算文件中的所有字符？

Question

如何使用Spark/Scala來計算文件中的所有字符？下面是我在火花外殼上做的事情：

scala> val logFile = sc.textFile("ClasspathLength.txt") 
scala> val counts = logFile.flatMap(line=>line.split("").map(char=>(char,1))).reduceByKey(_ + _) 
scala> println(counts.count()) 
scala> 62 

我在這裏得到不正確的計數。有人可以幫我解決這個問題嗎？

Answer 1

你在做什麼這裏是：

1. 計數每個唯一的字符出現在輸入的次數：

   val counts = logFile.flatMap(line=>line.split("").map(char=>(char,1))).reduceByKey(_ + _) 
   

   然後：

2. 計數這個結果記錄數（使用counts.count()），而忽略您在上一步中

如果你有興趣在文件顯示總字符數計算的實際值 - 有沒有必要在所有分組 - 你可以每行映射到其長度然後用隱式轉換爲DoubleRDDFunctions調用sum()：

logFile.map(_.length).sum() 

阿爾特rnatively可以flatMap到每個字符單獨的記錄，然後使用count：

logFile.flatMap(_.toList).count 

Answer 2

所有你需要的這裏flatMap +計數

logFile.flatMap(identity).count