Java中的Spark作業：如何在羣集上運行時訪問「resources」中的文件

Question

我用Java編寫了一個Spark作業。這項工作被打包爲一個陰影罐子和執行：

spark-submit my-jar.jar 

在代碼中，有駐留在src/main/resources/templates一些文件（Freemarker的模板）。當本地運行，我能夠訪問的文件：

File[] files = new File("src/main/resources/templates/").listFiles(); 

當作業在集羣上運行，執行前一行時，返回一個空指針異常。

如果我跑jar tf my-jar.jar我可以看到文件被封裝在一個文件夾templates/：

[...] 
templates/ 
templates/my_template.ftl 
[...] 

我只是無法閱讀;我懷疑.listFiles()嘗試訪問羣集節點上的本地文件系統，並且這些文件不在那裏。

我很想知道我應該如何打包文件以在自包含的Spark作業中使用。我寧願不在工作之外將它們複製到HDFS，因爲它維護起來很麻煩。

Answer 1

您現有的代碼將它們引用爲未打包並運送到Spark節點的文件。但是，由於它們在你的jar文件中，你應該可以通過Foo.getClass().getResourceAsStream("/templates/my_template_ftl")來引用它們。有關Java資源流的更多信息，請執行以下操作：http://www.javaworld.com/article/2077352/java-se/smartly-load-your-properties.html

Answer 2

似乎在Spark上運行Scala（2.11）代碼不支持在帶陰影的jar中訪問資源。

執行此代碼：

var path = getClass.getResource(fileName) 
println("#### Resource: " + path.getPath()) 

打印時星火之外運行的預期字符串。

在Spark中運行時，會引發java.lang.NullPointerException，因爲路徑爲空。