星火 - 無文件系統的方案：HTTPS，不能從Amazon S3

Question

我試圖通過加載從一個Amazon S3存儲一些數據加載文件：

SparkConf sparkConf = new SparkConf().setAppName("Importer"); 
JavaSparkContext ctx = new JavaSparkContext(sparkConf); 
HiveContext sqlContext = new HiveContext(ctx.sc()); 

DataFrame magento = sqlContext.read().json("https://s3.eu-central-1.amazonaws.com/*/*.json"); 

最後一行然而拋出一個錯誤：

Exception in thread "main" java.io.IOException: No FileSystem for scheme: https 

同一行一直在另一個項目中工作，我錯過了什麼？我在Hortonworks CentOS虛擬機上運行Spark。

Answer 1

默認情況下，Spark支持HDFS，S3和本地。 S3可以通過S3A訪問：//或S3N：//協議（difference between s3a, s3n and s3 protocols)

所以訪問文件最好是使用以下命令：

s3a://bucket-name/key 

根據您的火花版本，包括庫您可能需要添加外部JAR：

Spark read file from S3 using sc.textFile ("s3n://...)

（你確定你使用S3在以前的項目https協議也許你已經自定義代碼或罐子包括以支持https協議？）