如何將文本文件保存爲火花中的orc

Question

我是新來的火花，我試圖將文本文件保存到使用spark-shell的orc是他們的任何方式來做到這一點？

vall data =sc.textFile("/yyy/yyy/yyy") 
data.saveAsOrcFile("/yyy/yyy/yyy") 

Answer 1

您可以將RDD轉換爲DataFrame然後保存。

data.toDF().write.format("orc").save("/path/to/save/file") 

讀回，用sqlContext

import org.apache.spark.sql._ 
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) 

val data = sqlContext.read.format("orc").load("/path/to/file/*")