如何將數組[字符串]存儲到輸出文件

Question

我有一個名爲samparr的數組[String]，它希望它被存儲爲輸出文件。

var samparr: Array[String] = new Array[String](4) 
samparr +:= print1 + " BEST_MATCH " + print2 

一樣，

val output = samparr.saveAsTextFile(outputpath) 

但不是RDD其數組[字符串]

Answer 1

您可以使用SparkContext.parallelize爲 「分發」 你的陣列到星火集羣（在其他字，將其變成RDD），然後致電saveAsTextFile：

sc.parallelize(samparr).saveAsTextFile(outputpath) 

此操作將parti並將每個分區發送給其中一個執行程序，然後將每個分區保存到單獨的「文件部分」中。

或者，由於該數組非常小，並且使用Spark沒有真正「證明」，所以可以嘗試使用任何非Spark方法將數據保存到文件，例如，由@avihoo-mamka連接的一個：How to write to a file in Scala?