將javaRDD保存爲XML文件

Question

Apache Spark中是否有任何方式將java RDD文本保存爲XML文件？

我目前所做的是使用saveAsTextFile方法將RDD另存爲純文本文件，然後將其轉換爲XML。 我有興趣找到一種方法來直接從RDD創建XML文件。

任何提示，想法或指導將不勝感激。

Answer 1

您可以參考databricks xml庫來讀取/寫入xml的數據。根據數據推測模式：

import org.apache.spark.sql.SQLContext 

SQLContext sqlContext = new SQLContext(sc); 
DataFrame df = sqlContext.read() 
    .format("com.databricks.spark.xml") 
    .option("rowTag", "book") 
    .load("books.xml"); 

df.select("author", "_id").write() 
    .format("com.databricks.spark.xml") 
    .option("rootTag", "books") 
    .option("rowTag", "book") 
    .save("newbooks.xml");