不同的火花輸入和輸出格式

Question

在Spark中開箱即用支持哪些不同的輸入和輸出格式？

Map Reduce支持其中的很多，但我在Spark中只看到textFile和objectFile。

另外我怎樣才能在Spark中利用Hadoop輸入/輸出格式？

Answer 1

您可以通過在大多數RDD類型上調用saveAsNewAPIHadoopFile來將RDD保存爲任何傳統的Hadoop文件格式，例如， PairRDDFunctions，並在SparkContext上致電newAPIHadoopFile閱讀。

Answer 2

我想你使用Java？查看RDD here上的所有saveAs函數以及JavaSparkContext類here中的所有輸入函數。