Spark中支持的各種文件/數據格式

Question

我在某處遇到了下面的代碼。

sqlContext.read.format("com.databricks.spark.csv") 

貌似com.databricks.spark.csv是Databricks支持的文件格式。 我想知道本機支持的所有文件/數據格式Apache-Spark（2.0.0之前）

Answer 1

Spark支持Hadoop eco系統支持的所有格式。 下面的格式適用於spark。

1.textfile

2.sequencefile

3.json

4.avro（輕量且快速序列化/反序列化）

5.parquet（列取向，並給出更好的壓縮比例）