如何使用spark在HDFS上生成隨機矩陣文件

Question

我正在研究如何使用spark。

在斯卡拉我哈瓦這樣的一段代碼：

object GeneMatrixFile { 

    def main (args: Array[String]) { 

    val out = new FileWriter("matrix.txt") 
    val order = 20000 
    for(i<- 1 to order){ 
    for(j <- 1 to order){  
    out.write((scala.util.Random.nextDouble()*100).formatted("%3.1f")+"\t") 
    } 
    out.write("\n") 
    } 

    println("over") 
    out.close() 
    } 
} 

現在我想產生的火花HDFS這樣的文件，我不知道怎麼寫代碼，任何人幫助我？

Answer 1

您可能最好從apache spark guide開始。

星火確實有一個內置的功能，可用於創建隨機RDDS：

val matrix: RDD[Vector] = RandomRDDs.uniformVectorRDD(sc, 10, 10)