Spark-submit執行器沒有獲取屬性

Question

我想將Spark應用程序部署到4節點DSE Spark集羣，並且我創建了一個具有所有相關Jars的胖jar，並且我在src/main /具有批量間隔主URL等屬性的資源等。

我已經將這個胖罐複製到了主人，我正在用「spark-submit」提交應用程序，下面是我的提交命令。

dse spark-submit --class com.Processor.utils.jobLauncher --supervise application-1.0.0-develop-SNAPSHOT.jar qa 

一切工作正常，當我單節點集羣上運行，但如果DSE火花獨立的集羣上運行，像上面這樣一批間隔提到的性能變得不可用執行人。我搜索了Google，發現這是很多人解決它的常見問題。所以我遵循了其中一個解決方案，並創建了一個胖罐子並嘗試運行，但仍然無法執行我的屬性。

有人可以給任何關於如何解決問題的指針嗎？

我使用DSE 4.8.5和1.4.2星火

，這是怎麼了加載性能

System.setProperty("env",args(0)) 

val conf = com.typesafe.config.ConfigFactory.load(System.getProperty("env") + "_application") 

Answer 1

想出瞭解決方案：

我指的財產文件名從系統屬性（我設置它的主要方法與命令行參數），並且當代碼獲取運行並在工作節點上執行系統屬性不可用（顯然.. !!），所以而不是使用類型安全ConfigFactory加載屬性文件我正在使用簡單的Scala f閱讀。