提交火花診斷：java.io.FileNotFoundException：

我使用下面的命令提交火花診斷：java.io.FileNotFoundException：

bin/spark-submit --class com.my.application.XApp 
--master yarn-cluster 
--executor-memory 100m 
--num-executors 50 
/Users/nish1013/proj1/target/x-service-1.0.0-201512141101-assembly.jar 
1000

並獲得java.io.FileNotFoundException：我可以在我的羣集紗的應用情況，請參閱爲失敗。

罐子在該位置可用。當使用集羣模式spark提交時，是否需要放置此jar的特定位置？

Exception: 

Diagnostics: java.io.FileNotFoundException: File file:/Users/nish1013/proj1/target/x-service-1.0.0-201512141101-assembly.jar does not exist 
Failing this attempt. Failing the application.

來源

2015-12-18 nish1013

你能發佈整個異常嗎？因爲我不知道哪個文件丟失。它可能是你在應用程序中加載的文件，它可能是任何東西...... – Markon

你是否看到類似於「信息客戶端：上傳資源文件：x-service-1.0.0-201512141101-assembly.jar」的日誌火花提交控制檯？ –

@ShawnGuo不，我沒有看到這樣的反饋 – nish1013

您必須將jar文件傳遞到執行節點，方法是將它添加到spark-submit的「--jar」參數中。例如。

bin/spark-submit --class com.my.application.XApp 
--master yarn-cluster 
--jars "/Users/nish1013/proj1/target/x-service-1.0.0-201512141101-assembly.jar" 
--executor-memory 100m 
--num-executors 50 
/Users/nish1013/proj1/target/x-service-1.0.0-201512141101-assembly.jar 1000

來源

2016-06-09 13:35:38

提交火花診斷：java.io.FileNotFoundException：

回答

相關問題