2017-05-11 25 views
-1

我想存儲數據框爲純價值,但我得到的是價值與括號,代碼:如何在火花中輸出沒有括號的值?

val df = sqlContext.read.format("orc").load(filename) 
//I skip the processes here, just shows as an example 
df.rdd.saveAsTextFile(outputPath) 

的數據是:

[40fc4ab12a174bf4] 
[5572a277df472931] 
[5fbce7c5c854996b] 
[b4283abd92ea904] 
[2f486994064f6875] 

我要的是:

40fc4ab12a174bf4 
5572a277df472931 
5fbce7c5c854996b 
b4283abd92ea904 
2f486994064f6875 

回答

2

使用spark-csv寫數據:

df.write 
    .format("com.databricks.spark.csv") 
    .option("header", "false") 
    .save(outputPath) 

或者使用RDD,剛剛從得到的第一個值:

df.rdd.map(l => l.get(0)).saveAsTextFile(outputPath) 
0

如果您正在使用RDD則需要通過RDD映射到獲取數據,沒有括號。

df.rdd.map(row => row.get(0)).saveAsTextFile(outputPath)