2016-12-02 155 views
0

我使用下面的命令提交星火,提交星火作業未加載火花cloudant:2.0.0-s_2_11包

./spark-submit --packages cloudant-實驗室:火花cloudant:2.0的3.0 s_2.11 --class spark.cloudant.connecter.cloudantconnecter --master本地[*] /opt/demo/sparkScripts/ScoredJob/sparkcloudantconnecter.jar

但似乎 「火花cloudant」軟件包未加載.. 可能是因爲位於Spark Packages repository中的工件而無法加載(https://dl.bintray.com/spark-packages/maven/

那麼命令中需要哪些更改才能加載包?

這個包的全部細節,正顯示出這裏 https://mvnrepository.com/artifact/cloudant-labs/spark-cloudant/2.0.0-s_2.11

回答

2

似乎需要在加載包使用星火提交命令來添加存儲庫,

- 庫網址

所以新命令將是,

./spark-submit --packages cloudant-實驗室:火花cloudant:2.0.0-s_2.11 --repositories https://dl.bintray.com/spark-packages/maven/ --class spark.cloudant.connecter.cloudantconnecter --master本地[*] /opt/demo/sparkScripts/ScoredJob/sparkcloudantconnecter.jar

相關問題