2017-12-18 258 views
0

我想通過命令行提交一份pyspark作業到Google雲端dataproc 這些是我的論點;gcloud dataproc作業傳遞屬性參數提交pyspark

gcloud dataproc jobs submit pyspark --cluster mongo-load --properties org.mongodb.spark:mongo-spark-connector_2.11:2.2.0 mongo_load.py 

我經常收到異常

--properties: Bad syntax for dict arg: [org.mongodb.spark:mongo-spark-connector_2.11:2.2.0] 

我嘗試了一些從谷歌逃逸選項顯示here但似乎沒有任何工作。

回答

0

想通了,我只需要通過

spark.jars.packages=org.mongodb.spark:mongo-spark-connector_2.11:2.2.0 
相關問題