在Apache Spark中使用的HDFS-GPFS連接器

Question

是否有可能從Apache Spark中的IBM GPFS（全局並行文件系統）中讀取數據？

我的目的是用這樣的

sc.textFile("gfps://...") 

代替

sc.textFile("hdfs://...") 

是打算採用的是Hortonworks數據平臺的環境。我讀過一些articles, deploying IBM Spectrum Scale File System，說你可以在HDP上配置一個連接到GPFS的連接器，它可以讓你讀/寫GPFS（也許是MAPR-FS對它的文件系統）。有沒有人這樣做？

感謝

Answer 1

@dumitru可以使用Sparkling.data庫。

更多細節 - http://datascience.ibm.com/blog/making-data-useful-with-the-sparkling-data-library-2/