轉換管分隔的文件火花數據幀到CSV文件

Question

我有一個CSV與一個單塔文件和行被定義如下：

123 || food || fruit 
123 || food || fruit || orange 
123 || food || fruit || apple 

我想創建與單個列csv文件和不同的行值：

orange 
apple 

我用下面的代碼嘗試：

val data = sc.textFile("fruits.csv") 
val rows = data.map(_.split("||")) 
val rddnew = rows.flatMap(arr => { 
val text = arr(0) 
val words = text.split("||") 
words.map(word => (word, text)) 
}) 

但這段代碼並沒有給我想要的正確結果。
任何人都可以請幫助我嗎？

Answer 1

你需要轉義特殊字符分割，因爲分裂發生的正則表達式

.split("\\|\\|") 

轉換爲CSV是棘手，因爲數據字符串可能潛在地包含定界符（引號），新線或其他parse-敏感字符，所以我推薦使用spark-csv

val df = sqlContext.read 
    .format("com.databricks.spark.csv") 
    .option("delimiter", "||") 
    .option("header", "true") 
    .option("inferSchema", "true") 
    .load("words.csv") 

和

words.write 
    .format("com.databricks.spark.csv") 
    .option("delimiter", "||") 
    .option("header", "true") 
    .save("words.csv") 

Answer 2

你可以解決這個問題類似於這個代碼

val text = sc.textFile("fruit.csv") 
val word = text.map(l => l.split("\\|\\|") 
val last = word.map(w => w(w.size - 1)) 
last.distinct.collect