星火jar包依賴文件

Question

我想要做一些IP對火花的位置計算，探索網後，發現IPLocator https://github.com/miraclesu/IPLocator，

的IP來定位需要使用其中包含的映射信息的文件。

打包jar之後，我可以通過使用本地java來運行它，包只是在IPLocator.jar和qqwry.dat在同一個目錄下運行。

但是我想使用這個jar使用spark，我試着在啓動spark-shell的時候使用--jars IPLocator.jar qqwry.dat，但是啓動時，函數仍然不能讀取文件。

的文件讀取的代碼是這樣

QQWryFile.class.getClassLoader().getResource("qqwry.dat") 

我也試圖打包qqwry.dat文件放進瓶子裏，和它沒有工作。

Answer 1

您需要使用--files，然後SparkFiles.get程序的嘗試裏面

Answer 2

使用逗號delimitor並檢查是否IPLocator.jar和qqwry.dat分佈火花暫存文件夾（.sparkStaging/application_xxx）。

--jars IPLocator.jar,qqwry.dat